深度学习数据归一化的方法

normalization的介绍

详细介绍LN

BN的tensorflow调用方法

CNN使用BN方法

BN是对同一batch的样本进行归一化&＃xff08;使用高斯归一化方法&＃xff09;

BN是同一个batch的样本进行归一化如果batch特别小的时候就会出现不稳定情况

BN不能对长度大小不一致的RNN进行处理&＃xff0c;因为均值这些都向量长度不一样&＃xff0c;不能得到均值

LN针对同一个样本里面进行高斯归一化就可以解决这个问题&＃xff0c;因为同一个样本里面&＃xff0c;举例子

上海/人民广场/好玩/吗/

按照词进行归一化&＃xff0c;每个词的向量长度是固定的