语言模型srilm（二） prune剪枝
发布时间
阅读量：
阅读量
为什么引入剪枝
传统的N-gram回退模型，在提高性能效果方面主要采取了两种途径：一是增加模型阶数以捕捉更多上下文信息；二是通过引入外部语料数据来增强统计覆盖能力。然而这种双重改进方式带来了共同影响：一方面增加了模型体积；另一方面必然导致语音识别解码器内存占用量显著上升。为了解决这一矛盾，在实施回退策略时需遵循以下三项标准：一是剪枝策略必须保证准确性；二是剪枝比例要合理控制；三是要平衡计算资源消耗与识别性能的关系。
该准则应该专注于优化一种已知的信息论模型的有效性
- efficiency
高效、快速
从实用性的角度来看, 仅此语言模型具备实用性, 无需其他信息源支持
SRILM根据相对熵原理实施了剪枝策略（具体方法为N-gram剪枝）。
基于相对熵的剪枝
剪枝的核心目标是去除现有的n-gram序列，并保持未被剪枝的n-gram不变性；此外还需重新评估回退概率。那么如何量化评估剪枝后的语言模型性能变化？一种可行的方法是通过最小化剪枝前后的两个模型的概率分布之间的距离来进行评估。
全部评论 (0)
还没有任何评论哟~