过拟合准确率大幅下降_如何应对深度学习模型的过拟合现象

过拟合现象

学习器把训练样本学习的太好&＃xff0c;很可能把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质&＃xff0c;导致泛化性能下降&＃xff0c;这种现象叫做过拟合。有很多因素可能导致过拟合&＃xff0c;其中最常见的情况是由于学习能力过于强大&＃xff0c;以至于把训练样本所包含的不太一般的特性都学到了。

深度学习模型的数据量少而参数较多时&＃xff0c;会发生过拟合&＃xff0c;如下图

怎样减小过拟合&＃xff1f;

1.重新清洗数据&＃xff0c;导致过拟合的原因也有可能是数据不纯

2.数据集扩增&＃xff0c;过拟合有可能是因为训练数据量太小&＃xff0c;训练数据占总数据比例过小

3.采用正则化方法&＃xff0c;在dense层上增加L1或L2正则

4.dropout&＃xff0c;这种方法在神经网络里面比较常见

5. early stopping
6. 简化模型&＃xff0c;减少层级和参数数量

正则化为什么可以防止过拟合&＃xff1f;

以L2为例&＃xff0c;过拟合的损失函数表达式为&＃xff1a;

前面一项是原始损失函数&＃xff0c;后面一项是正则项&＃xff0c;为了方便&＃xff0c;我们把公式简化为,对 w 进行求导得

利用梯度下降法更新参数

因为都大于零&＃xff0c;所以小于1&＃xff0c;它的效果就是减小 w ,这也就是权重衰减的由来。当然如果考虑倒数项&＃xff0c; w 最终的值可能增大也可能减小。

为什么 w 变小可以防止过拟合&＃xff1f;

奥卡姆剃刀原理解释&＃xff1a;更小的权值w&＃xff0c;从某种意义上说&＃xff0c;表示网络的复杂度更低&＃xff0c;对数据的拟合刚刚好。

稍微数学一点的解释&＃xff1a;过拟合的时候&＃xff0c;拟合函数的系数往往非常大&＃xff0c;过拟合&＃xff0c;就是拟合函数需要顾忌每一个点&＃xff0c;最终形成的拟合函数波动很大。在某些很小的区间里&＃xff0c;函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值(绝对值)非常大&＃xff0c;由于自变量值可大可小&＃xff0c;所以只有系数足够大&＃xff0c;才能保证导数值很大。