Relu6作用

ReLU6

首先说明一下ReLU6&＃xff0c;卷积之后通常会接一个ReLU非线性激活&＃xff0c;在Mobile v1里面使用ReLU6&＃xff0c;ReLU6就是普通的ReLU但是限制最大输出值为6&＃xff08;对输出值做clip&＃xff09;&＃xff0c;这是为了在移动端设备float16的低精度的时候&＃xff0c;也能有很好的数值分辨率&＃xff0c;如果对ReLU的激活范围不加限制&＃xff0c;输出范围为0到正无穷&＃xff0c;如果激活值非常大&＃xff0c;分布在一个很大的范围内&＃xff0c;则低精度的float16无法很好地精确描述如此大范围的数值&＃xff0c;带来精度损失。

本文提出&＃xff0c;最后输出的ReLU6去掉&＃xff0c;直接线性输出&＃xff0c;理由是&＃xff1a;ReLU变换后保留非0区域对应于一个线性变换&＃xff0c;仅当输入低维时ReLU能保留所有完整信息。

在看MobileNet v1的时候&＃xff0c;我就疑问为什么没有把后面的ReLU去掉&＃xff0c;因为Xception已经实验证明了Depthwise卷积后再加ReLU效果会变差&＃xff0c;作者猜想可能是Depthwise输出太浅了应用ReLU会带来信息丢失&＃xff0c;而MobileNet还引用了Xception的论文&＃xff0c;但是在Depthwise卷积后面还是加了ReLU。在MobileNet v2这个ReLU终于去掉了&＃xff08;非紧邻&＃xff0c;最后的ReLU&＃xff09;&＃xff0c;并用了大量的篇幅来说明为什么要去掉&＃xff08;各种很复杂的证明&＃xff0c;你不会想自己推一遍的&＃61; &＃61;&＃xff0c;从理论上说明了去掉ReLU的合理性&＃xff09;。

总之&＃xff0c;结论就是最后那个ReLU要去掉&＃xff0c;效果更好。