什么是梯度消失和梯度爆炸

一、梯度消失、梯度爆炸产生的原因

说白了&＃xff0c;对于1.1 1.2&＃xff0c;其实就是矩阵的高次幂导致的。在多层神经网络中&＃xff0c;影响因素主要是权值和激活函数的偏导数。

1.1 前馈网络

假设存在一个网络结构如图&＃xff1a;

其表达式为&＃xff1a;

若要对于w1求梯度&＃xff0c;根据链式求导法则&＃xff0c;得到的解为&＃xff1a;

通常&＃xff0c;若使用的激活函数为sigmoid函数&＃xff0c;其导数&＃xff1a;

这样可以看到&＃xff0c;如果我们使用标准化初始w&＃xff0c;那么各个层次的相乘都是0-1之间的小数&＃xff0c;而激活函数f的导数也是0-1之间的数&＃xff0c;其连乘后&＃xff0c;结果会变的很小&＃xff0c;导致梯度消失。若我们初始化的w是很大的数&＃xff0c;w大到乘以激活函数的导数都大于1&＃xff0c;那么连乘后&＃xff0c;可能会导致求导的结果很大&＃xff0c;形成梯度爆炸。

当然&＃xff0c;若对于b求偏导的话&＃xff0c;其实也是一个道理&＃xff1a;

推出&＃xff1a;

1.2 RNN

对于RNN的梯度下降方法&＃xff0c;是一种基于时间的反向求导算法&＃xff08;BPTT&＃xff09;&＃xff0c;RNN的表达式&＃xff1a;

通常我们会将一个完整的句子序列视作一个训练样本&＃xff0c;因此总误差即为各时间步&＃xff08;单词&＃xff09;的误差之和。

而RNN还存在一个权值共享的问题&＃xff0c;即这几个w都是一个&＃xff0c;假设&＃xff0c;存在一个反复与w相乘的路径&＃xff0c;t步后&＃xff0c;得到向量&＃xff1a;

若特征值大于1&＃xff0c;则会出现梯度爆炸&＃xff0c;若特征值小于1&＃xff0c;则会出现梯度消失。因此在一定程度上&＃xff0c;RNN对比BP更容易出现梯度问题。主要是因为RNN处理时间步长一旦长了&＃xff0c;W求导的路径也变的很长&＃xff0c;即使RNN深度不大&＃xff0c;也会比较深的BP神经网络的链式求导的过程长很大&＃xff1b;另外&＃xff0c;对于共享权值w&＃xff0c;不同的wi相乘也在一定程度上可以避免梯度问题。

1.3 悬崖和梯度爆炸

对于目标函数&＃xff0c;通常存在梯度变化很大的一个“悬崖”&＃xff0c;在此处求梯度&＃xff0c;很容易导致求解不稳定的梯度爆炸现象。

三、梯度消失和梯度爆炸哪种经常出现

事实上&＃xff0c;梯度消失更容易出现&＃xff0c;因为对于激活函数的求导&＃xff1a;

可以看到&＃xff0c;当w越大&＃xff0c;其wx&＃43;b很可能变的很大&＃xff0c;而根据上面sigmoid函数导数的图像可以看到&＃xff0c;wx&＃43;b越大&＃xff0c;导数的值也会变的很小。因此&＃xff0c;若要出现梯度爆炸&＃xff0c;其w既要大还要保证激活函数的导数不要太小。

二、如何解决梯度消失、梯度爆炸

1、对于RNN&＃xff0c;可以通过梯度截断&＃xff0c;避免梯度爆炸

2、可以通过添加正则项&＃xff0c;避免梯度爆炸

3、使用LSTM等自循环和门控制机制&＃xff0c;避免梯度消失&＃xff0c;参考&＃xff1a;https://www.cnblogs.com/pinking/p/9362966.html

4、优化激活函数&＃xff0c;譬如将sigmold改为relu&＃xff0c;避免梯度消失