机器学习_神经网络训练时梯度爆炸和梯度消失产生的原因及解决方法

一般在深层神经网络中&＃xff0c;我们需要预防梯度爆炸和梯度消失的情况。

梯度消失&＃xff08;gradient vanishing problem&＃xff09;和梯度爆炸&＃xff08;gradient exploding problem&＃xff09;一般随着网络层数的增加会变得越来越明显。

例如下面所示的含有三个隐藏层的神经网络&＃xff0c;梯度消失问题发生时&＃xff0c;接近输出层的hiden layer3的权重更新比较正常&＃xff0c;但是前面的hidden layer1的权重更新会变得很慢&＃xff0c;导致前面的权重几乎不变&＃xff0c;仍然接近初始化的权重&＃xff0c;这相当于hidden layer1没有学到任何东西&＃xff0c;此时深层网络只有后面的几层网络在学习&＃xff0c;而且网络在实际上也等价变成了浅层网络。

那么产生这种现象的原因是什么呢&＃xff1f;

我们来看看看反向传播的过程&＃xff1a;

&＃xff08;假设网络每一层只有一个神经元&＃xff0c;并且对于每一层yi&＃61;σ(zi)&＃61;σ(wixi&＃43;bi)y_{i} &＃61; \sigma(z_{i}) &＃61; \sigma(w_{i}x_{i} &＃43; b_{i})yi​&＃61;σ(zi​)&＃61;σ(wi​xi​&＃43;bi​)&＃xff09;

可以推导出&＃xff1a;

而sigmoid的导数σ′(x)\sigma^{&＃39;}(x)σ′(x)如下图所示&＃xff1a;

可以知道&＃xff0c;σ′(x)\sigma^{&＃39;}(x)σ′(x)的最大值是14\frac{1}{4}41​&＃xff0c;而我们初始化的权重$|w|$通常都小于1&＃xff0c;因此σ′(x)∣w∣<&＃61;14\sigma^{&＃39;}(x)|w| <&＃61; \frac{1}{4}σ′(x)∣w∣<&＃61;41​&＃xff0c;而且链式求导层数非常多&＃xff0c;不断相乘的话&＃xff0c;最后的结果越来越小&＃xff0c;趋向于0&＃xff0c;就会出现梯度消失的情况。

梯度爆炸则相反&＃xff0c;σ′(x)∣w∣>1\sigma^{&＃39;}(x)|w| > 1σ′(x)∣w∣>1时&＃xff0c;不断相乘结果变得很大。

梯度爆炸和梯度消失问题都是因为网络太深&＃xff0c;网络权重更新不稳定造成的&＃xff0c;本质上是因为梯度方向传播的连乘效应。

1. 预训练加微调。
2. 梯度截断。
3. 使用ReLU、LeakyReLU等激活函数。
4. 加BN层。
5. 使用残差结构。