验证集精确度和损失同时上升

1. 实验结果

  下图中val_acc&＃xff0c;val_loss分别表示验证集精确度和损失&＃xff1b;train_acc&＃xff0c;train_loss分别表示训练集精确度和损失。验证集精确度一直上升&＃xff0c;但是损失在第六个epoch后也开始上升&＃xff0c;如何解释&＃xff1f;

2. 分析

  在N标签分类任务中&＃xff0c;输出是一个N维的向量&＃xff0c;向量中每个位置代表某类标签&＃xff0c;其值代表属于此类标签的概率值。我们取概率最大值的索引所对应的标签作为最终预测标签&＃xff0c;所以最大概率其相对值更重要&＃xff0c;90%的概率和50%的概率是等价的&＃xff0c;只要它是最大概率即可&＃xff0c;但是90%所对应的损失要小于50%对应的损失。因此只要正确类别的预测概率最大&＃xff0c;它就可以在val-loss增加时仍然保持比较平稳的状态。

  下面通过一个例子说明&＃xff1a;

  假设现在有2个类别的数据集&＃xff0c;类别分别是dog和horse&＃xff0c;对于现在的一个样本&＃xff0c;其真实类别是horse&＃xff0c;也就是其真实值one-hot为[0, 1]&＃xff0c;对于下面2种情况&＃xff1a;
①其预测softmax值为[0.1, 0.9]&＃xff0c;则对于这个例子的交叉熵值计算为&＃xff1a;
$$-(0\ast ln0.1\&＃43;1\ast ln0.9)\approx 0.105$$
②其预测softmax值为[0.4, 0.6]&＃xff0c;则对于这个例子的交叉熵值计算为&＃xff1a;
$$-(0\ast ln0.4\&＃43;1\ast ln0.6)\approx 0.511$$
  也就是说&＃xff0c;虽然在上述两种情况下&＃xff0c;预测值都为horse&＃xff0c;即其accuracy是一样的&＃xff0c;但是其loss是增加的。这种情况下就会出现val-loss不断增加&＃xff0c;但是val-accuracy平稳不变的情况。
同理&＃xff0c;在若干个样本的加和val-loss中&＃xff0c;可能出现val-accuracy缓慢上升&＃xff0c;val-loss也上升的情况&＃xff0c;这种情况也属于过拟合问题&＃xff0c;在这种情况下&＃xff0c;可能预测softmax值稍微发现一点点的变化&＃xff0c;使得accuracy上升&＃xff0c;但是因为有其他样本的loss增加的较多&＃xff0c;所以即使对于当前这样样本来说&＃xff0c;acc增加&＃xff0c;loss减少&＃xff0c;但是对于整体样本的loss和来说&＃xff0c;loss增加&＃xff0c;造成整体情况是acc增加&＃xff0c;loss也在增加。

  实验表明&＃xff0c;在数据量不是很大的情况下&＃xff0c;的确会出现上述问题&＃xff0c;但是如果数据量足够大&＃xff0c;最终趋于的平稳情况是loss增加&＃xff0c;acc会降低。这也就引出了为什么在训练网络的衡量指标中&＃xff0c;loss比accuracy更常用&＃xff0c;总结如下&＃xff1a;
  (1) loss函数是可微的&＃xff0c;而accuracy不是可微的&＃xff0c;在网络模型反向传播过程中&＃xff0c;需要可微的目标函数。
  (2) 在分类任务中&＃xff0c;使用accuracy可以&＃xff0c;但是在回归任务中&＃xff0c;accuracy便不再可用&＃xff0c;只能使用loss
  (3) 损失函数可以有多种优化方法&＃xff0c;如牛顿法、极大似然估计等

参考&＃xff1a;
https://blog.csdn.net/quiet_girl/article/details/86138489