pythonbatchnorm2d_BatchNorm2d原理、作用及其pytorch中BatchNorm2d函数的参数讲解

BN原理、作用&＃xff1a;

函数参数讲解&＃xff1a;

BatchNorm2d(256, eps&＃61;1e-05, momentum&＃61;0.1, affine&＃61;True, track_running_stats&＃61;True)

1.num_features&＃xff1a;一般输入参数为batch_sizenum_featuresheight*width&＃xff0c;即为其中特征的数量&＃xff0c;即为输入BN层的通道数&＃xff1b;

2.eps&＃xff1a;分母中添加的一个值&＃xff0c;目的是为了计算的稳定性&＃xff0c;默认为&＃xff1a;1e-5,避免分母为0&＃xff1b;

3.momentum&＃xff1a;一个用于运行过程中均值和方差的一个估计参数(我的理解是一个稳定系数&＃xff0c;类似于SGD中的momentum的系数)&＃xff1b;

4.affine&＃xff1a;当设为true时&＃xff0c;会给定可以学习的系数矩阵gamma和beta

一般来说pytorch中的模型都是继承nn.Module类的&＃xff0c;都有一个属性trainning指定是否是训练状态&＃xff0c;训练状态与否将会影响到某些层的参数是否是固定的&＃xff0c;比如BN层或者Dropout层。通常用model.train()指定当前模型model为训练状态,model.eval()指定当前模型为测试状态。

同时&＃xff0c;BN的API中有几个参数需要比较关心的&＃xff0c;一个是affine指定是否需要仿射&＃xff0c;还有个是track_running_stats指定是否跟踪当前batch的统计特性。容易出现问题也正好是这三个参数&＃xff1a;trainning&＃xff0c;affine&＃xff0c;track_running_stats。

其中的affine指定是否需要仿射&＃xff0c;也就是是否需要上面算式的第四个&＃xff0c;如果affine&＃61;False则γ&＃61;1,β&＃61;0&＃xff0c;并且不能学习被更新。一般都会设置成affine&＃61;True。

trainning和track_running_stats&＃xff0c;track_running_stats&＃61;True表示跟踪整个训练过程中的batch的统计特性&＃xff0c;得到方差和均值&＃xff0c;而不只是仅仅依赖与当前输入的batch的统计特性。相反的&＃xff0c;如果track_running_stats&＃61;False那么就只是计算当前输入的batch的统计特性中的均值和方差了。当在推理阶段的时候&＃xff0c;如果track_running_stats&＃61;False&＃xff0c;此时如果batch_size比较小&＃xff0c;那么其统计特性就会和全局统计特性有着较大偏差&＃xff0c;可能导致糟糕的效果。

如果BatchNorm2d的参数track_running_stats设置False,那么加载预训练后每次模型测试测试集的结果时都不一样&＃xff1b;track_running_stats设置为True时&＃xff0c;每次得到的结果都一样。

running_mean和running_var参数是根据输入的batch的统计特性计算的&＃xff0c;严格来说不算是“学习”到的参数&＃xff0c;不过对于整个计算是很重要的。BN层中的running_mean和running_var的更新是在forward操作中进行的&＃xff0c;而不是在optimizer.step()中进行的&＃xff0c;因此如果处于训练中泰&＃xff0c;就算不进行手动step()&＃xff0c;BN的统计特性也会变化。

model.train() #处于训练状态

for data , label in self.dataloader:

pred &＃61;model(data) #在这里会更新model中的BN统计特性参数&＃xff0c;running_mean,running_var

loss&＃61;self.loss(pred,label)

#就算不进行下列三行&＃xff0c;BN的统计特性参数也会变化

opt.zero_grad()

loss.backward()

opt.step()

这个时候&＃xff0c;要用model.eval()转到测试阶段&＃xff0c;才能固定住running_mean和running_var&＃xff0c;有时候如果是先预训练模型然后加载模型&＃xff0c;重新跑测试数据的时候&＃xff0c;结果不同&＃xff0c;有一点性能上的损失&＃xff0c;这个时候基本上是training和track_running_stats设置的不对。

如果使用两个模型进行联合训练&＃xff0c;为了收敛更容易控制&＃xff0c;先预训练好模型model_A&＃xff0c;并且model_A内还有若干BN层&＃xff0c;后续需要将model_A作为一个inference推理模型和model_B联合训练&＃xff0c;此时希望model_A中的BN的统计特性量running_mean和running_var不会乱变化&＃xff0c;因此就需要将model_A.eval()设置到测试模型&＃xff0c;否则在trainning模式下&＃xff0c;就算是不去更新模型的参数&＃xff0c;其BN都会变化&＃xff0c;这将导致和预期不同的结果。