标签平滑(labelsmoothing)

• 标签平滑就是用来解决over-confident的问题&＃xff0c;这类问题在对抗构建中尤为重要(GANs)

• 通俗来讲
  

• 机器学习的样本中通常会存在少量错误标签&＃xff0c;这些错误标签会影响到预测的效果。标签平滑采用如下思路解决这个问题&＃xff1a;在训练时即假设标签可能存在错误&＃xff0c;避免“过分”相信训练样本的标签。当目标函数为交叉熵时&＃xff0c;这一思想有非常简单的实现&＃xff0c;称为标签平滑&＃xff08;Label Smoothing&＃xff09;。

• 我们以2类分类问题为例&＃xff0c;此时训练样本为(xi,yi)&＃xff0c;其中yi是样本标签&＃xff0c;为0或1。在训练样本中&＃xff0c;我们并不能保证所有的样本标签都标注正确&＃xff0c;如果某个样本的标注是错误的&＃xff0c;那么在训练时&＃xff0c;该样本就有可能对训练结果产生负面影响。一个很自然的想法是&＃xff0c;如果我们有办法“告诉”模型&＃xff0c;样本的标签不一定正确&＃xff0c;那么训练出来的模型对于少量的样本错误就会有“免疫力”。

2.1 理论上

• 在每次迭代时&＃xff0c;并不直接将(xi,yi)放入训练集&＃xff0c;而是设置一个错误率ε&＃xff0c;以1-ε的概率将(xi,yi)代入训练&＃xff0c;以ε的概率将(xi,1-yi)代入训练。这样&＃xff0c;模型在训练时&＃xff0c;既有正确标签输入&＃xff0c;又有错误标签输入&＃xff0c;可以想象&＃xff0c;如此训练出来的模型不会“全力匹配”每一个标签&＃xff0c;而只是在一定程度上匹配。这样&＃xff0c;如果真的出现错误标签&＃xff0c;模型受到的影响就会更小。

2.2 实际上

2.2.1 为什么这样做就有效

在几乎所有的情况下&＃xff0c;使用标签平滑训练可以产生更好的校准网络&＃xff0c;从而更好地去泛化网路&＃xff0c;最终对不可见的生产数据产生更准确的预测。因此&＃xff0c;标签平滑应该是大多数深度学习训练的一部分。

• 单侧标签平滑

https://www.cnblogs.com/whustczy/p/12520239.html
https://blog.csdn.net/Matrix_cc/article/details/105344967