tensorflow中的正则化及数据增强

正则化&＃xff1a;

一般可以通过减少特征或者惩罚不重要特征的权重来缓解过拟合&＃xff0c;但是我们通常不知道该惩罚那些特征的权重&＃xff0c;而正则化就是帮助我们惩罚特征权重的&＃xff0c;即特征的权重也会成为模型的损失函数一部分。可以理解为&＃xff0c; 为了使用某个特征&＃xff0c;我们需要付出loss的代价&＃xff08;loss为给权重weight加的一个loss&＃xff0c;正则化&＃xff09;&＃xff0c;除非这个特征非常有效&＃xff0c;否贼就会被loss上的增加覆盖效果。这样我们就能筛选出最有效的特征&＃xff0c;减少特征权重防止过拟合。

一般来说&＃xff0c;L1正则会制造稀疏的特征&＃xff0c;大部分无用特征的权重会被至为0,

L2正则会让特征的权重不过大&＃xff0c;使得特征的权重比较平均。       tensorflow.nn.l2_loss(weight) 就是计算weight的L2 loss。

数据增强&＃xff1a;

tf.image.random_flip_left_right(): 照片的随机水平翻转        //这里没写参数列表&＃xff0c;下同

tf.random_crop()&＃xff1a;从照片中随机剪切一块照片

tf.image.random_brightness():设置随机的亮度

tf.image.random_contrast():设置随机的对比度

tf.image.per_image_whitening():对数据进行标准化&＃xff08;对数据减去均值&＃xff0c;除去方差&＃xff0c;保证数据0平均&＃xff0c; 方差为1&＃xff09;