一步步教你理解LSTM

点击上方“小白学视觉”&＃xff0c;选择加"星标"或“置顶”

重磅干货&＃xff0c;第一时间送达

&＃xff11;　什么是LSTM

LSTM全名是Long Short-Term Memory&＃xff0c;长短时记忆网络&＃xff0c;可以用来处理时序数据&＃xff0c;在自然语言处理和语音识别等领域应用广泛。和原始的循环神经网络RNN相比&＃xff0c;LSTM解决了RNN的梯度消失问题&＃xff0c;可以处理长序列数据&＃xff0c;成为当前最流行的RNN变体。

2　LSTM应用举例

假设我们的模型的输入是依次输入一句话的每个单词&＃xff0c;我们需要对单词做分类&＃xff0c;比如有两句话&＃xff1a;&＃xff08;1&＃xff09;arrive Beijing on November 2nd&＃xff0c;这里的Beijing是目的地&＃xff1b;&＃xff08;2&＃xff09;leave Beijing on November 2nd&＃xff0c;这里的Beijing是出发地。如果用普通的神经网络&＃xff0c;输入是&＃39;Beijing&＃39;&＃xff0c;那么输出一定就是确定的&＃xff0c;但事实上我们希望在&＃39;Beijing&＃39;前面是&＃39;arrive&＃39;时&＃xff0c;&＃39;Beijing&＃39;被识别为目的地&＃xff0c;在&＃39;Beijing&＃39;前面时&＃39;leave&＃39;时&＃xff0c;&＃39;Beijing&＃39;被识别为出发地。这里LSTM就会派上用场&＃xff0c;因为LSTM可以记住历史信息&＃xff0c;在读到&＃39;Beijing&＃39;时&＃xff0c;LSTM还知道在前面是&＃39;arrive&＃39;还是&＃39;leave&＃39;&＃xff0c;根据历史信息来做出不同的判断&＃xff0c;即使输入是相同的&＃xff0c;输出也会不同。

3 LSTM结构剖析

普通的神经元是一个输入&＃xff0c;一个输出&＃xff0c;如图所示&＃xff1a; 

对于神经元h1来讲&＃xff0c;输入就是x1&＃xff0c;输出就是y1&＃xff0c;LSTM做的就是把普通的神经元&＃xff0c;替换成LSTM的单元。

从图中可以看到LSTM有四个输入&＃xff0c;分别是input(模型输入&＃xff09;&＃xff0c;forget gate(遗忘门)&＃xff0c;input gate(输入门)&＃xff0c;以及output gate(输出门)。因此相比普通的神经网络&＃xff0c;LSTM的参数量是它们的4倍。这3个门信号都是处于0&＃xff5e;1之间的实数&＃xff0c;1代表完全打开&＃xff0c;0代表关闭。遗忘门&＃xff1a;决定了前一时刻中memory中的是否会被记住&＃xff0c;当遗忘门打开时&＃xff0c;前一刻的记忆会被保留&＃xff0c;当遗忘门关闭时&＃xff0c;前一刻的记忆就会被清空。输入门&＃xff1a;决定当前的输入有多少被保留下来&＃xff0c;因为在序列输入中&＃xff0c;并不是每个时刻的输入的信息都是同等重要的&＃xff0c;当输入完全没有用时&＃xff0c;输入门关闭&＃xff0c;也就是此时刻的输入信息被丢弃了。输出门&＃xff1a;决定当前memroy的信息有多少会被立即输出&＃xff0c;输出门打开时&＃xff0c;会被全部输出&＃xff0c;当输出门关闭时&＃xff0c;当前memory中的信息不会被输出。

4 LSTM公式推导

有了上面的知识&＃xff0c;再来推导LSTM的公式就很简单了&＃xff0c;图中代表遗忘门&＃xff0c;代表输入门&＃xff0c;代表输出门。C是memroy cell,存储记忆信息。代表上一时刻的记忆信息&＃xff0c;代表当前时刻的记忆信息&＃xff0c;h是LSTM单元的输出&＃xff0c;是前一刻的输出。

遗忘门计算&＃xff1a;

这里的是把两个向量拼接起来的意思&＃xff0c;用sigmoid函数主要原因是得到有个0~1之间的数&＃xff0c;作为遗忘门的控制信号。

输入门计算&＃xff1a;

当前输入&＃xff1a;

当前时刻的记忆信息的更新&＃xff1a;

从这个公式可以看出&＃xff0c;前一刻的记忆信息通过遗忘门&＃xff0c;当前时刻的输入通过输入门&＃xff0c;加起来更新当前的记忆信息。

输入门计算&＃xff1a;

LSTM的输出&＃xff0c;是由输出门和当前记忆信息共同决定的&＃xff1a;

这样我们就明白了LSTM的前向计算过程。有了LSTM前向传播算法&＃xff0c;推导反向传播算法就很容易了&＃xff0c; 通过梯度下降法迭代更新我们所有的参数&＃xff0c;关键点在于计算所有参数基于损失函数的偏导数&＃xff0c;这里就不细讲了。

小结

LSTM虽然结构复杂&＃xff0c;但是只要理顺了里面的各个部分和之间的关系&＃xff0c;是不难掌握的。在实际使用中&＃xff0c;可以借助算法库如Keras&＃xff0c;PyTorch等来搞定&＃xff0c;但是仍然需要理解LSTM的模型结构。

参考文献

1. https://www.youtube.com/watch?v&＃61;rTqmWlnwz_0&index&＃61;35&list&＃61;PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49

2. https://zybuluo.com/hanbingtao/note/581764

3. http://www.cnblogs.com/pinard/p/6519110.html

4. http://blog.echen.me/2017/05/30/exploring-lstms/

下载1&＃xff1a;OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复&＃xff1a;扩展模块中文教程&＃xff0c;即可下载全网第一份OpenCV扩展模块教程中文版&＃xff0c;涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2&＃xff1a;Python视觉实战项目52讲

在「小白学视觉」公众号后台回复&＃xff1a;Python视觉实战项目&＃xff0c;即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目&＃xff0c;助力快速学校计算机视觉。

下载3&＃xff1a;OpenCV实战项目20讲

在「小白学视觉」公众号后台回复&＃xff1a;OpenCV实战项目20讲&＃xff0c;即可下载含有20个基于OpenCV实现20个实战项目&＃xff0c;实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流&＃xff0c;目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群&＃xff08;以后会逐渐细分&＃xff09;&＃xff0c;请扫描下面微信号加群&＃xff0c;备注&＃xff1a;”昵称&＃43;学校/公司&＃43;研究方向“&＃xff0c;例如&＃xff1a;”张三 &＃43; 上海交大 &＃43; 视觉SLAM“。请按照格式备注&＃xff0c;否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告&＃xff0c;否则会请出群&＃xff0c;谢谢理解~