RNNLSTM－GRU

前言

为什么引入&＃xff32;&＃xff2e;&＃xff2e;&＃xff1f;

对于传统的神经网络来说&＃xff0c;一般输入是不带有时间序列的&＃xff0c;比如说输入　学生身体的各个指标进行预测是否是是具有生长缓慢或者是快速的问题&＃xff0c;这样的输入一般是固定的序列&＃xff0c;并且之间是没有相互影响的。然而对于具有时间先后顺序的这些问题&＃xff0c;比如说语音识别&＃xff0c;生成语句等问题&＃xff0c;这样的传统的神经网络并不能很好训练。

RNN

1.RNN网络结构

&＃xff12;.RNN的两个主要应用

一、用于建模表示句子
将句子通过RNN&＃xff0c;在最后一个RNN隐藏层得到该句子的表示&＃xff0c;其实就是类似于平常的得到一个特征向量。这里就是得到这个句子的表示的特征向量。
用途&＃xff1a;得到一个句子的表示&＃xff0c;我们可以后续使用判别器进行判别等。

二、用于表示句子的上下文
这个不同于上面的&＃xff0c;这里是表示的句子的额外信息&＃xff0c;得到句子的上下文信息。
用途&＃xff1a;RNN表示句子的上下文信息&＃xff0c;接下来可根据上下文使用语言模型预测下一个单词等。

&＃xff13;.RNN的两个主要应用对应的不同的Loss

对于这两种不同的应用&＃xff0c;一个是在最后的RNN的隐藏层得到句子的表示&＃xff0c;就是句子的特征向量。这个loss只用考虑最后的预测结果和真实的label之间的差距即可。
另一个是得到句子的上下文语义&＃xff0c;在每一个RNN的隐藏层都是有输出的&＃xff0c;这里的输出的loss都是要计算的&＃xff0c;所以total　loss是所有的loss加在一起。

&＃xff14;.针对Loss进行反向传播

我们以这张图为例&＃xff0c;只考虑　一个无偏差项的RNN&＃xff0c;S&＃xff10;是固定值&＃xff0c;没有激活函数。
前向传播&＃xff1a;




而激活函数的图像是&＃xff1b;

可以看出&＃xff54;&＃xff41;&＃xff4e;&＃xff48;&＃xff07;&＃xff58;都是小于等于&＃xff11;的&＃xff0c;则如果说&＃xff1a;
&＃xff57;取值&＃xff10;&＃xff0d;&＃xff11;之间&＃xff0c;&＃xff54;很大的话&＃xff0c;&＃xff54;&＃xff41;&＃xff4e;&＃xff48;‘都小于等于&＃xff11;&＃xff0c;则连乘多个&＃xff54;&＃xff41;&＃xff4e;&＃xff48;’　&＃xff0a;　W就会越来越小&＃xff0c;在越靠近输入层的权重就会几乎为&＃xff10;&＃xff0c;也急速hi几乎不更新&＃xff0c;这就是梯度消失。
&＃xff57;取值很大&＃xff0c;连乘多个&＃xff54;&＃xff41;&＃xff4e;&＃xff48;’　&＃xff0a;　W就会趋向于无穷大&＃xff0c;梯度过大没导致更新幅度过大&＃xff0c;可能会溢出&＃xff0c;无法收敛&＃xff0c;这就是梯度爆炸。

LSTM

总结

提示&＃xff1a;这里对文章进行总结&＃xff1a;

例如&＃xff1a;以上就是今天要讲的内容&＃xff0c;本文仅仅简单介绍了pandas的使用&＃xff0c;而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

**注释&＃xff1a;**这里的笔记是参考大神&＃xff0c;大神讲解的十分透彻&＃xff0c;自己学习了就想总总结自己以后经常来看&＃xff0c;所以本文章不做任何的是商业用途&＃xff0c;两个大神原文&＃xff1a;
https://zhuanlan.zhihu.com/p/31781223

https://zhuanlan.zhihu.com/p/28687529