Word Embedding

Word Embedding是一种词的向量表示，比如，对于这样的“A B A C B F G”的一个序列，也许我们最后能得到：A对应的向量为[0.1 0.6 -0.5]，B对应的向量为[-0.2 0.9 0.7]。

之所以希望把每个单词变成一个向量，目的还是为了方便计算，比如“求单词A的同义词”，就可以通过“求与单词A在cos距离下最相似的向量”来做到。

那么如何进行词嵌入呢？目前主要有三种算法：

Embedding Layer

Embedding Layer是与特定自然语言处理上的神经网络模型联合学习的单词嵌入。该嵌入方法将清理好的文本中的单词进行one hot编码（热编码），向量空间的大小或维度被指定为模型的一部分，例如50、100或300维。向量以小的随机数进行初始化。Embedding Layer用于神经网络的前端，并采用反向传播算法进行监督。

被编码过的词映射成词向量，如果使用多层感知器模型MLP，则在将词向量输入到模型之前被级联。如果使用循环神经网络RNN，则可以将每个单词作为序列中的一个输入。

这种学习嵌入层的方法需要大量的培训数据，可能很慢，但是可以学习训练出既针对特定文本数据又针对NLP的嵌入模型。

Word2Vec/ Doc2Vec（Document to Vector）

Word2Vec是由Tomas Mikolov 等人在《Efficient Estimation of Word Representation in Vector Space》一文中提出，是一种用于有效学习从文本语料库嵌入的独立词语的统计方法。其核心思想就是基于上下文，先用向量代表各个词，然后通过一个预测目标函数学习这些向量的参数。

该算法给出了两种训练模型，CBOW (Continuous Bag-of-Words Model) 和 Skip-gram (Continuous Skip-gram Model)。CBOW将一个词所在的上下文中的词作为输入，而那个词本身作为输出，也就是说，看到一个上下文，希望大概能猜出这个词和它的意思。通过在一个大的语料库训练，得到一个从输入层到隐含层的权重模型；而Skip-gram它的做法是，将一个词所在的上下文中的词作为输出，而那个词本身作为输入，也就是说，给出一个词，希望预测可能出现的上下文的词。

通过在一个大的语料库训练，得到一个从输入层到隐含层的权重模型。给定xx预测xxx的模型的输入都是词的向量，然后通过中间各种深度学习DL的CNN或RNN模型预测下一个词的概率。通过优化目标函数，最后得到这些词汇向量的值。

Word2Vec虽然取得了很好的效果，但模型上仍然存在明显的缺陷，比如没有考虑词序，再比如没有考虑全局的统计信息。

Doc2Vec与Word2Vec的CBOW模型类似，也是基于上下文训练词向量，不同的是，Word2Vec只是简单地将一个单词转换为一个向量，而Doc2Vec不仅可以做到这一点，还可以将一个句子或是一个段落中的所有单词汇成一个向量，为了做到这一点，它只是将一个句子标签视为一个特殊的词。

主题模型

LSA、LDA等主题模型，建立词和主题的关系。

RNN

循环神经网络，是非线性动态系统，将序列映射到序列，主要参数有五个：$[W_{hv}, W_{hh}, W_{oh}, b_h, b_o, h_0] $，典型的结构图如下：

• 和普通神经网络一样，RNN有输入层输出层和隐含层，不一样的是RNN在不同的时间t会有不同的状态，其中t-1时刻隐含层的输出会作用到t时刻的隐含层.


• 参数意义是: \(W_{hv}\):输入层到隐含层的权重参数，\(W_{hh}\):隐含层到隐含层的权重参数，\(W_{oh}\)：隐含层到输出层的权重参数，\(b_h\):隐含层的偏移量,\(b_o\)输出层的偏移量，\(h_0\):起始状态的隐含层的输出，一般初始为0.


• 不同时间的状态共享相同的权重w和偏移量b

RNN的计算方式

给定一个损失函数L：

\[L(z,y) = \sum_{t=1}^T{L(z_t, y_t)}\]

RNN因为加入了时间序列，因此训练过程也是和之前的网络不一样，RNN的训练使用的是BPTT(Back Prropagation Through TIme),该方法是由Werbo等人在1990年提出来的。

上面的算法也就是求解梯度的过程，使用的也是经典的BP算法，并没有什么新鲜的。但是值得一提的是，在 t-1 时刻对 \(h_{t−1}\)的求导值，也需加上t时刻的求导中对\(h_{t−1}\) 的求导值，因此BPTT也是一个链式的求导过程。

但是因为上面算法中的第10行，在训练t时刻的时候，出现了t-1的参数，因此对单个的求导就变成了对整个之前状态的求导之和。

也正是因为存在长依赖关系，BPTT无法解决长时依赖问题(即当前的输出与前面很长的一段序列有关，一般超过十步就无能为力了)，因为BPTT会带来所谓的梯度消失或梯度爆炸问题(the vanishing/exploding gradient problem)。

这篇文章很好的解释了为什么会产生梯度消失和为什么会梯度爆炸的问题，其实主要问题就是因为在BPTT算法中，以w为例，其求导过程的链太长，而太长的求导链在以tanh为激活函数（其求导值在0~1之间的BPTT中，连乘就会使得最终的求导为0，这就是梯度消失问题，也就是t时刻已经学习不到t-N时刻的参数了。当然，有很多方法去解决这个问题，如LSTMs便是专门应对这种问题的，还有一些方法，比如设计一个更好的初始参数以及更换激活函数（如换成ReLU激活函数）。

参数量

model.add(Embedding(output_dim=32, input_dim=2800, input_length=380))
model.add(SimpleRNN(units=16))
model.add(Dense(uints=256, activation=relu))
...
model.summary()
#output
simple_rnn_1 (SimpleRNN) param # 784
dense_1 (Dense) param # 4352

其中：784=16+1616+1632（ \(W_{hv}\) + \(W_{hh}\) + \(b_h\)）

LSTM

假设我们试着去预测“I grew up in France... I speak fluent French”最后的词。当前的信息建议下一个词可能是一种语言的名字，但是如果我们需要弄清楚是什么语言，我们是需要先前提到的离当前位置很远的 France的上下文的。这说明相关信息和当前预测位置之间的间隔就肯定变得相当的大。

不幸的是，在这个间隔不断增大时，RNN会丧失学习到连接如此远的信息的能力。在理论上，RNN绝对可以处理"长期依赖"问题。人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，RNN 肯定不能够成功学习到这些知识。Bengio, et al.等人对该问题进行了深入的研究，他们发现一些使训练 RNN 变得非常困难的根本原因。

然而，幸运的是，LSTM 并没有这个问题！

LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM 都取得相当巨大的成功，并得到了广泛的使用。

LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！

所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构。

参考：

理解 LSTM 网络