BP神经网络（八）——特征的归一化

对于输入的归一化&＃xff0c;存在两种形式&＃xff0c;一种是[0&＃xff0c;1]标准化&＃xff0c;另一种是零均值归一化&＃xff0c;神经网络中一般选择第二种形式。这会使代价函数的会更圆一些&＃xff0c;更容易优化。

归一化需要两个步骤&＃xff1a;1.零均值 2.归一化方差 最终使输入特征在[-1,1]的范围内。

第一步是零均值化 它是一个向量&＃xff0c;x等于每个训练数据 x减去μ&＃xff0c;意思是移动训练集&＃xff0c;直到它完成零均值化。
第二步是归一化方差:

这是节点的平方&＃xff0c;σ²是一个向量&＃xff0c;它的每个特征都有方差&＃xff0c;注意&＃xff0c;我们已经完成零值均化&＃xff0c;(x⁽ⁱ⁾)²元素y²就是方差&＃xff0c;我们把所有数据除以向量σ²。

最终特征会变为在相似范围内&＃xff0c;而不是从1到1000&＃xff0c;0到1的范围&＃xff0c;而是在-1到1范围内或相似偏差&＃xff0c;这使代价函数会更圆一些&＃xff0c;而且更容易优化。

注意&＃xff1a;需要用相同的 μ 和 σ²来归一化测试集&＃xff0c;注意对y不做处理&＃xff0c;只对输入的特征x进行归一化。自己一开始有的疑惑是需不需要对y进行归一化&＃xff0c;其实没有必要。