批归一化作用_Nomaomi

批归一化的问题

回到本文的动机&＃xff0c;在许多情况下&＃xff0c;批归一化可能会影响性能或者根本不起作用。

使用小的batch sizes时不稳定

如上所述&＃xff0c;批归一化层必须计算均值和方差&＃xff0c;以便对整个batch的前一个输出进行归一化。

ResNet-50的批归一化验证误差

上面是ResNet-50的验证误差图。如果batch size保持为32&＃xff0c;那么最终验证误差将在23左右&＃xff0c;并且随着batch size的减小&＃xff0c;误差会不断减小(batch size不能为1&＃xff0c;因为它本身就是均值)。损失有很大的不同(大约10%)。

如果小batch size是一个问题&＃xff0c;为什么我们不使用更大的batch size呢?实际上&＃xff0c;我们不能在每种情况下都使用较大的batch size。在进行微调时&＃xff0c;我们不能使用大的batch size&＃xff0c;以避免使用大梯度伤害我们的模型。在分布式训练中&＃xff0c;大的batch size最终将作为一组小的batch sizes分布在实例中。

会导致训练时间增加

NVIDIA和卡耐基梅隆大学进行的实验结果表明&＃xff0c;“即使批归一化不占用大量计算资源&＃xff0c;但收敛所需的总迭代次数却减少了。每次迭代的时间可能会显著增加”&＃xff0c;并且随着batch size的增加&＃xff0c;训练时间可能进一步增加。

使用Titan X Pascal在ImageNet上的ResNet-50训练时间分布

如您所见&＃xff0c;批归一化消耗了总训练时间的1/4。原因是因为批归一化要求对输入数据进行两次迭代&＃xff1a;一次用于计算batch统计信息&＃xff0c;另一次用于对输出进行归一化。

在测试/推断阶段不稳定

例如&＃xff0c;考虑实际应用程序&＃xff1a;“对象检测”。在训练对象检测器时&＃xff0c;我们通常使用大的batch size(默认情况下&＃xff0c;YOLOv4和Faster-RCNN都以batch size&＃61; 64进行训练)。但是在将这些深度学习模型投入生产后&＃xff0c;这些模型并不像训练时那么有效。这是因为它们是用大的batch size进行训练的&＃xff0c;而在实时情况下&＃xff0c;它们得到的batch size等于1&＃xff0c;因为它必须处理每一帧。如前所述&＃xff0c;当使用batch size为1时&＃xff0c;它本身就是均值&＃xff0c;因此归一化层将无法有效地处理所谓的“内部协变移位”。

不利于在线学习

与batch学习相比&＃xff0c;在线学习是一种学习技术&＃xff0c;通过依次(或单独地&＃xff0c;或通过称为mini-batches的small groups)向系统提供数据实例&＃xff0c;对系统进行增量式训练。每一个学习步骤既快速又廉价&＃xff0c;因此系统可以在新数据到达时动态地学习新数据。

典型的在线学习管道

由于它依赖于外部数据源&＃xff0c;数据可以单独到达&＃xff0c;也可以成批到达。由于每次迭代中batch size的变化&＃xff0c;它不能很好地概括输入数据的规模和shift&＃xff0c;这最终会影响性能。

不适用于循环神经网络

在卷积神经网络中&＃xff0c;尽管批归一化可以显著提高训练速度和泛化能力&＃xff0c;但事实证明&＃xff0c;它们很难应用于循环体系结构。批归一化可以应用于RNN的堆栈之间&＃xff0c;其中归一化是“垂直”应用(即每个RNN的输出)&＃xff0c;但是它不能“水平”应用(即在时间步之间)&＃xff0c;因为重复的rescaling会导致梯度爆炸。

备选方案

在无法进行批归一化的情况下&＃xff0c;可以使用以下几种替代方法&＃xff1a;

层归一化。

实例归一化。

组归一化(&＃43;权重标准化)。

同步批归一化。

最后

批归一化尽管是深度学习开发中的一个里程碑技术&＃xff0c;但是它仍会有一些问题&＃xff0c;这表明归一化技术仍有改进的空间。