BN=批归一化+缩放位移=(batchNorm层+scale层)

1. BN的是做什么的。

它其实做了两件事&＃xff1a;

&＃xff08;1&＃xff09;批量归一化: 输入归一化x_norm &＃61; (x-u)/std&＃xff0c;其中u和std是个累计计算的均值和方差。

&＃xff08;2&＃xff09;缩放与位移:y &＃61; alpha*x_norm&＃43;beta&＃xff0c;对归一化后的x进行比例缩放和位移。其中的alpha和beta是通过迭代学习得到的。

可以看出:

• 批量归一化共有三个参数&＃xff1a;均值、方差和滑动系数。由于BN的三个参数都是来自于样本的计算&＃xff0c;不需要学习.

  • 参数可以有如下使用渠道:
    • 使用保存的均值和方差&＃xff0c;
    • 采用滑动平均计算新的均值和方差
    • 滑动平均的衰减系数&＃xff0c;默认为0.999.
    • eps:分母附加值&＃xff0c;防止除以方差出现0的操作&＃xff0c;默认为1e-5&＃xff08;不同框架采用的默认值不一样&＃xff09;。

• 缩放与位移有两个参数&＃xff0c;参数可调。

  • 需要注意的是alpha与beta均为向量&＃xff0c;针对输入的channels进行的处理&＃xff0c;因此不能简单的认定为一个float的实数。

批量归一化的均值与方差计算

参考:
Caffe Scale层解析 https://www.cnblogs.com/zhibei/p/12988187.html
caffe常用层&＃xff1a; batchNorm层和scale层 https://www.cnblogs.com/LaplaceAkuir/p/7811383.html