LanguageModels

本章介绍语言模型&＃xff0c;内容包括&＃xff1a;

1. Introduction to N-grams
2. Estimating N-gram Probabilities
3. Evaluation and Perplexity
4. Smoothing

Introduction to N-grams

Probalilistic Language Models&＃xff08;概率语言模型&＃xff09;的首要任务是估计一个字符串序列或者句子出现的可能性大小

自然的&＃xff0c;可以定义c(x1,x2,⋯,xn)为在训练集中句子x1x2⋯xn出现的次数&＃xff0c;N是训练集中句子的数目，直接定义

这个模型的泛化能力很差，那些在训练集中没有出现的句子，它的概率就强制为0了。

假设W是一句话&＃xff0c;w1,w2,⋯,wn是构成这句话的单词&＃xff0c;利用链式法则求W的概率公式如下：

现在的目标变成估计P(wi|w1w2⋯wi−1)了&＃xff0c;同样&＃xff0c;如果直接采取频率的估计方法&＃xff0c;可能的句子太多&＃xff0c;将永远不会有足够的数据来估计这个条件概率密度。引入Markov Assumption:句子当前词出现的概率仅与前N−1个词有关,那么该模型就成为”N元模型”

最简单的模型即Unigram model&＃xff0c;每个词出现的概率与上下文无关&＃xff0c;

Bigram model:认为每个单词的出现只与它的前一个单词相关&＃xff0c;

我们也可以使用4元模型，5元模型&＃xff0c;N越大,语言模型的准确率越大，但是每增加一元，带来的是计算量的指数增长。事实上，句子中的long distance dependencies(长程依赖)是存在的，如:The computer which I had just put into the machine room on the fifth floor crashed.最后一个单词crashed实际上是与句子中靠前的computer相关，就算是使用5元模型也不可能把单词之前的相关性展示出来。

Estimating N-gram Probabilities

以二元模型为例，采用最大似然估计(Maximum Likelihood Estimate)，得到参数如下：

只需要用全部语料库中连着出现(wi−1,wi)的次数 除以wi−1出现的次数,当然要保证语料库足够大.在实际计算句子的概率时&＃xff0c;往往在对数空间进行运算&＃xff0c;有效避免了underflow(概率都是一些很小的数&＃xff0c;几个小数相乘很快就超出了计算机精度了)。

一些公开的语言模型&＃xff1a;

• SRILM
• Google N-Gram Release
• Google Book N-grams

Evaluation and Perplexity

如何评估模型&＃xff1f;首先我们根据training set(训练集数据)求得模型参数&＃xff0c;然后使用新的数据集(test set)来测试所建立语言模型的性能。Train set和Test set属于同一领域时&＃xff0c;训练出的语言模型的准确性就高&＃xff0c;对test set的预测性就越好。倘若两者属于不同领域&＃xff0c;那么所训练的模型就未必好。

• Extrinsic evaluation&＃xff1a;根据一个具体的任务&＃xff0c;训练两个语言模型A和B&＃xff0c;然后使用大量数据来监测A和B&＃xff0c;比较两者的准确率&＃xff0c;这会消耗大量时间
• Intrinsic evaluation&＃xff1a;Perplexity
  

Smoothing

在2元语言模型中&＃xff0c;很多单词对出现的次数为0&＃xff0c;多元模型中情况更甚&＃xff0c;另外&＃xff0c;很可能我们使用的train set数据中计算的某个单词对概率为0&＃xff0c;但是在test set中确实真实存在的&＃xff0c;采用平滑技术解决零概率的问题

1. Add-one Smoothing
   
   Add-one Smoothing不适用于N-grams&＃xff0c;通常用于平滑其他NLP模型&＃xff0c;如文本分类&＃xff0c;以及一些零概率出现比较少的情况。
   更一般的形式是Add-k Smoothing
   
2. Interpolation
   有时我们需要将多种语言模型——trigram(三元)、bigram(二元)、unigram(一元)模型混合使用&＃xff0c;这就需要使用插值方法。
   
   如何设置λ呢&＃xff1f;把原有的train set数据分成两份&＃xff0c;一份继续作为train set&＃xff08;训练语料&＃xff09;&＃xff0c;用于初始的频率估计&＃xff1b;另一份用来改善最初的频率估计&＃xff0c;这一份便称为“held-out data”