激活函数比较

为什么要用激活函数

如果不用激励函数&＃xff0c;每一层输出都是上层输入的线性函数&＃xff0c;无论神经网络有多少层&＃xff0c;输出都是输入的线性组合。

如果使用的话&＃xff0c;激活函数给神经元引入了非线性因素&＃xff0c;使得神经网络可以任意逼近任何非线性函数&＃xff0c;这样神经网络就可以应用到众多的非线性模型中。

1.Sigmoid函数

缺点&＃xff1a;

&＃xff08;1&＃xff09;在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失。如果我们初始化神经网络的权值为[0,1] 之间的随机值&＃xff0c;由反向传播算法的数学推导可知&＃xff0c;梯度从后向前传播时&＃xff0c;每传递一层梯度值都会减小为原来的0.25倍&＃xff0c;如果神经网络隐层特别多&＃xff0c;那么梯度在穿过多层后将变得非常小接近于0&＃xff0c;即出现梯度消失现象&＃xff1b;当网络权值初始化为(1,&＃43;∞) 区间内的值&＃xff0c;则会出现梯度爆炸。

&＃xff08;2&＃xff09;非0均值

2.tanh函数&＃xff08;双曲正切函数&＃xff09;

取值范围为[-1,1]&＃xff0c;tanh在特征相差明显时的效果会很好&＃xff0c;在循环过程中会不断扩大特征效果。

与 sigmoid 的区别是&＃xff0c;tanh 是 0 均值的&＃xff0c;因此实际应用中 tanh 会比 sigmoid 更好

3.ReLU

&＃xff08;1&＃xff09; 解决了梯度消失问题 (在正区间)

2&＃xff09;计算速度非常快&＃xff0c;只需要判断输入是否大于0

3&＃xff09;收敛速度远快于sigmoid和tanh

ReLU也有几个需要特别注意的问题&＃xff1a;

&＃xff08;1&＃xff09;ReLU的输出不是zero-centered

&＃xff08;2&＃xff09;神经元死亡&＃xff0c;指的是某些神经元可能永远不会被激活&＃xff0c;导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化&＃xff0c;这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大&＃xff0c;不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法&＃xff0c;以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法

4.Leaky ReLU函数&＃xff08;PReLU&＃xff09;

f&＃xff08;x&＃xff09;&＃61; max&＃xff08;ax&＃xff0c;x&＃xff09;            通常a&＃61;0.01

理论上来讲&＃xff0c;Leaky ReLU有ReLU的所有优点&＃xff0c;外加不会有Dead ReLU问题&＃xff0c;但是在实际操作当中&＃xff0c;并没有完全证明Leaky ReLU总是好于ReLU。