深度学习基础loss与激活函数Relu(RectifiedLinearUnits)

  它是不饱和的、线性的函数。可以认为是一种特殊的maxout。

Relu的优点

  1&＃xff09;采用sigmoid和tanh等函数&＃xff0c;算激活函数时&＃xff08;指数运算&＃xff09;&＃xff0c;计算量大&＃xff0c;反向传播求误差梯度时&＃xff0c;求导涉及除法&＃xff0c;计算量相对大&＃xff1b;而采用Relu激活函数&＃xff0c;整个过程的计算量节省很多。
  2&＃xff09;对于深层网络&＃xff0c;sigmoid函数反向传播时&＃xff0c;很容易就会出现梯度消失的情况&＃xff08;在sigmoid接近饱和区时&＃xff0c;梯度变化太缓慢&＃xff0c;导数趋于0&＃xff0c;这种情况会造成信息丢失&＃xff09;&＃xff0c;减缓收敛速度。vanishing gradient在网络层数多的时候尤其明显&＃xff0c;是加深网络结构的主要障碍之一。相反&＃xff0c;Relu的gradient大多数情况下是常数&＃xff0c;有助于解决深层网络的收敛问题。
  3&＃xff09;Relu会使一部分神经元的输出为0&＃xff0c;这样就造成了网络的稀疏性&＃xff0c;并且减少了参数的相互依存关系&＃xff0c;缓解了过拟合问题的发生&＃xff08;以及一些人的生物解释balabala&＃xff09;。

ReLU 的缺点

  训练的时候很”脆弱”&＃xff0c;很容易就”die”了。
  举个例子&＃xff1a;一个非常大的梯度流过一个 ReLU 神经元&＃xff0c;更新过参数之后&＃xff0c;这个神经元再也不会对任何数据有激活现象了&＃xff0c;即这个神经元的梯度就永远都会是0。
  实际操作中&＃xff0c;如果你的learning rate 很大&＃xff0c;那么很有可能你网络中的40%的神经元都”dead”了。 当然&＃xff0c;如果你设置了一个合适的较小的learning rate&＃xff0c;这个问题发生的情况其实也不会太频繁。
  后来就有了各种的变种&＃xff0c;Leaky-ReLU、P-ReLU、R-ReLU。

Relu、sigmoid和tanh的比较

  sigmoid和tanh是饱和的、非线性的函数&＃xff0c;导致了它们与relu的gradient特性不同&＃xff0c;最终导致relu效果更好。
  饱和其实就是看函数自变量x很大的时候其函数值如果变动很小&＃xff0c;那么就称其为饱和。
  sigmoid和tanh的缺点之一是计算所耗时间比较长&＃xff0c;在CIFAR-10数据集上&＃xff0c;训练到25%的错误率&＃xff0c;ReLU的速度是tanh的6倍。还有一个缺点是对于该层输入的数据最好是要做归一化&＃xff0c;否则当逐层累积后输入数据可能会变得很大&＃xff0c;导致激励函数的输出值变动不大&＃xff0c;非线性的性质被削弱。而ReLU则没有这种问题。

具体应用

  把除了最外层输出用的sigmoid函数的其他所有用到sigmoid函数的地方全都改为ReLu函数&＃xff0c;然后把学习速率调低。