pythonbatchnormalization_BatchNormalization原理与python实现

为了保证深度神经网络训练过程的稳定性&＃xff0c;经常需要细心的选择初始化方式&＃xff0c;并且选择较小的学习率数值&＃xff0c;这无疑增加了任务的复杂性。为此&＃xff0c;Google团队提出了Batch Normalization【1】方法(简称BN)用于帮助网络更好的训练。

1、理论分析

BN计算的第一步是对每一层进行独立的归一化&＃xff1a;

其中k表示第k维特征&＃xff0c;E表示求期望&＃xff0c;Var表示求方差。这种归一化操作可能会改变这层的表示&＃xff0c;所以作者提出了“identity transform”如下&＃xff1a;

其中r(k)和B(k)是两个需要通过网络训练学习的参数&＃xff0c;这两个参数随着迭代进行动态的更新&＃xff0c;当下述情况时&＃xff1a;

此时输出和输入就是完全相同的&＃xff0c;都是x(k)。注释&＃xff1a;identity transform&＃xff0c;个人理解其目的是使得输出和输入相同&＃xff0c;即不改变层的表示

综上&＃xff0c;实现BN需要求的&＃xff1a;均值、方差、参数beta、参数gamma。对应的算法流程如下&＃xff0c;需要注意的是&＃xff0c;Normalization的计算是对“每个特征”分别进行的&＃xff1a;

2、python实现

2.1 数据和各个变量的含义

在使用类似pytorch的框架时发现&＃xff0c;由于每个mini-batch中的数据是不同的&＃xff0c;所以需要统计整个数据集中的均值和方差需要动态的追踪各个mini-batch(进行实现的时候参考了pytorch的BN文档【7】&＃xff0c;其源码很多部分已经迁移到了C&＃43;&＃43;所以分析起来比较困难)&＃xff0c;动态统计方式如下&＃xff1a;

这里的“x”不是论文中的“x”&＃xff0c;这里表示running_mean和runnning_var的更新权重。首先定义将要使用的数据&＃xff1a;

data &＃61; np.array([[1, 2],

[1, 3],

[1, 4]]).astype(np.float32)

然后采用pytorch提供的BatchNorm1d模块进行测试&＃xff0c;确保自己代码获得的结果能够和pytorch一致&＃xff1a;

bn_torch &＃61; nn.BatchNorm1d(num_features&＃61;2)

data_torch &＃61; torch.from_numpy(data)

bn_output_torch &＃61; bn_torch(data_torch)

print(bn_output_torch)

得到的输出如下&＃xff1a;

tensor([[ 0.0000, -1.1526],

[ 0.0000, 0.0000],

[ 0.0000, 1.1526]], grad_fn&＃61;)

2.2 前向传播实现

因为BN计算过程中需要保存running_mean和running_var&＃xff0c;以及更新动量momentum和防止数值计算错误的eps&＃xff0c;所以需要设计为类&＃xff0c;并用实例属性来保存这些值&＃xff0c;下面是初始化方法&＃xff1a;

class MyBN:

def __init__(self, momentum, eps, num_features):

"""初始化参数值:param momentum: 追踪样本整体均值和方差的动量:param eps: 防止数值计算错误:param num_features: 特征数量"""

# 对每个batch的mean和var进行追踪统计

self._running_mean &＃61; 0

self._running_var &＃61; 1

# 更新self._running_xxx时的动量

self._momentum &＃61; momentum

# 防止分母计算为0

self._eps &＃61; eps

# 对应论文中需要更新的beta和gamma&＃xff0c;采用pytorch文档中的初始化值

self._beta &＃61; np.zeros(shape&＃61;(num_features, ))

self._gamma &＃61; np.ones(shape&＃61;(num_features, ))

初始化中_beta和_gamma对应于BN中需要学习的参数&＃xff0c;分别初始化为0和1&＃xff0c;接下来就是前向传播的实现&＃xff1a;

def batch_norm(self, x):

"""BN向传播:param x: 数据:return: BN输出"""

x_mean &＃61; x.mean(axis&＃61;0)

x_var &＃61; x.var(axis&＃61;0)

# 对应running_mean的更新公式

self._running_mean &＃61; (1-self._momentum)*x_mean &＃43; self._momentum*self._running_mean

self._running_var &＃61; (1-self._momentum)*x_var &＃43; self._momentum*self._running_var

# 对应论文中计算BN的公式

x_hat &＃61; (x-x_mean)/np.sqrt(x_var&＃43;self._eps)

y &＃61; self._gamma*x_hat &＃43; self._beta

return y

由于pytorch中的BatchNorm中beta和gamma初始化并不是0和1&＃xff0c;为了保证初始化值一样&＃xff0c;将自己定义的类的beta和gamm替换为torch初始化的值&＃xff0c;进行如下测试&＃xff1a;

my_bn &＃61; MyBN(momentum&＃61;0.01, eps&＃61;0.001, num_features&＃61;2)

my_bn._beta &＃61; bn_torch.bias.detach().numpy()

my_bn._gamma &＃61; bn_torch.weight.detach().numpy()

bn_output &＃61; my_bn.batch_norm(data, )

print(bn_output)

得到的结果和torch的结果一致&＃xff1a;

[[ 0. -1.1517622]

[ 0. 0. ]

[ 0. 1.1517622]]

参考&＃xff1a;