深入浅出语言模型

语言模型主要有统计语言模型&＃xff08;n-gram语言模型&＃xff09;和 神经网络语言模型等。下面分别介绍这两个语言模型以及两个模型之间的异同

n-gram语言模型

语言模型简单来讲&＃xff0c;就是计算一个句子的概率&＃xff0c;更确切的说是计算组成这个句子一系列词语的概率。举个简单的例子&＃xff1a;

s &＃61; “The cat jumped over the paddle”

一个好的语言模型应该会给这个句子比较高的概率。因为这个句子在语义语法上都没有任何问题。我们可以用如下的公式来计算概率
P(w1,w2,...,wn)&＃61;P(w1)P(w2|w1)P(w3|w1,w2)...P(wn|w1,w2,...wn−1)P(w1,w2,...,wn)&＃61;P(w1)P(w2|w1)P(w3|w1,w2)...P(wn|w1,w2,...wn−1)

在统计语言模型中为了减少参数数量&＃xff0c;基于马尔可夫假设&＃xff0c;通常采用n-gram模型&＃xff0c;我们可以认为下一个词的出现仅依赖于他前面的一个或者 n 个词&＃xff0c;如果n&＃61;1&＃xff0c;即假设每个单词之间相互独立&＃xff0c;那么就会得到uni-gram表达式或者n&＃61;2的bi-gram模型去表示&＃xff0c;因为&＃xff0c;下一个单词和之前一个单词是有很强的关联性

• Unigram model
  P(w1,w2,w3,...,wn)&＃61;∏ni&＃61;1P(wi)P(w1,w2,w3,...,wn)&＃61;∏i&＃61;1nP(wi)

• Bigram model

• P(w1,w2,w3,...,wn)&＃61;∏ni&＃61;2P(wi|wi−1)P(w1,w2,w3,...,wn)&＃61;∏i&＃61;2nP(wi|wi−1)

一般来讲&＃xff0c;n一般不会超过3, 否则参数空间过大&＃xff0c;数据稀疏严重&＃xff0c;对于非常对多词对的组合&＃xff0c;在语料库中没有出现&＃xff0c;依据最大似然估计得到的概率将会是0。

当然&＃xff0c;对于n-gram模型来说&＃xff0c;有很多的平滑方法。即对频率为0的n元对进行估计&＃xff0c;典型的平滑算法有加法平滑、Good-Turing平滑、Katz平滑、插值平滑&＃xff0c;等等。
例如加法平滑
P(wi|wi−n&＃43;1,...,wi)&＃61;C(wi−n&＃43;1,...,wi−1,wi)&＃43;δC(wi−n&＃43;1,...,wi−1)&＃43;NδP(wi|wi−n&＃43;1,...,wi)&＃61;C(wi−n&＃43;1,...,wi−1,wi)&＃43;δC(wi−n&＃43;1,...,wi−1)&＃43;Nδ

神经网络语言模型

循环神经网络可以将任意长度的上下文信息存储在隐藏状态中&＃xff0c;而不仅限于n-gram模型中的窗口限制&＃xff0c;RNN的神经语言模型结构如下图1所示&＃xff0c;假如针对一句话“大海的颜色是蓝色的”&＃xff0c;其中包括了三个部分:

• Embedding层 将输入单词 w_i 表示为实数向量
• 循环神经网络
• Softmax层&＃xff0c;针对输入 xixi 输出为 y^iy^i 为一个向量 [y^i,1,y^i,2,...,y^i,|V|][y^i,1,y^i,2,...,y^i,|V|]

因此每一步的输出结果表示在上下文的情况下&＃xff0c;该位置的单词是单词表中单词的概率&＃xff0c;我们希望概率最大的单词就是真实的结果输出:

n-gram语言模型和神经语言模型的异同&＃xff1a;

• 共同点&＃xff1a;都是计算语言模型&＃xff0c;将句子看作一个词序列&＃xff0c;来计算句子的概率
• 不同点&＃xff1a;
  
  • 计算概率方式不同&＃xff0c;n-gram基于马尔可夫假设只考虑前n个词&＃xff0c;nnlm要考虑整个句子的上下文
  • 训练模型的方式不同&＃xff0c;n-gram基于最大似然估计来计算参数&＃xff0c;nnlm基于RNN的优化方法来训练模型&＃xff0c;并且这个过程中往往会有word embedding作为输入&＃xff0c;这样对于相似的词可以有比较好的计算结果&＃xff0c;但n-gram是严格基于词本身的
  • 循环神经网络可以将任意长度的上下文信息存储在隐藏状态中&＃xff0c;而不仅限于n-gram模型中的窗口限制

语言模型评价指标

PPL(Perplexity)是用在自然语言处理领域&＃xff08;NLP&＃xff09;中&＃xff0c;衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率&＃xff0c;并用句子长度作normalize&＃xff0c;公式为

PP(s)&＃61;P(w1,w2,...,wn)−1NPP(s)&＃61;P(w1,w2,...,wn)−1N
&＃61;1(w1,w2,...,wn)−−−−−−−−−√n&＃61;1(w1,w2,...,wn)n

这个式子可以这样理解&＃xff0c;PPL越小&＃xff0c;p(s)则越大&＃xff0c;一句我们期望的sentence出现的概率就越高

训练n-gram语言模型的工具

• 用SRILM构建语言模型

参考文献&＃xff1a;
https://www.zhihu.com/question/29456588