机器学习之方差、偏差

模型过于简单必然导致偏差过大&＃xff0c;过于复杂必然导致方差过大

a、欠拟合&＃xff1a;偏差过大&＃xff0c;做特征工程、减小(弱)正则化系数&＃xff1b;

b、过拟合&＃xff1a;方差过大&＃xff0c;可增加样本、减少特征、增加(强)正则化系数&＃xff1b;

1、模型偏差bias

偏差是指预测结果与真实值之间的差异&＃xff0c;排除噪声的影响&＃xff0c;偏差更多的是针对某个模型输出的样本误差&＃xff0c;偏差是模型无法准确表达数据关系导致&＃xff0c;比如模型过于简单&＃xff0c;非线性的数据关系采用线性模型建模&＃xff0c;偏差较大的模型是错的模型&＃xff1b;

2、模型方差variance

模型方差不是针对某一个模型输出样本进行判定&＃xff0c;而是指多个(次)模型输出的结果之间的离散差异&＃xff0c;注意这里写的是多个模型或者多次模型&＃xff0c;即不同模型或同一模型不同时间的输出结果方差较大&＃xff0c;方差是由训练集的数据不够导致&＃xff0c;一方面量 (数据量) 不够&＃xff0c;有限的数据集过度训练导致模型复杂&＃xff0c;另一方面质(样本质量)不行&＃xff0c;测试集中的数据分布未在训练集中&＃xff0c;导致每次抽样训练模型时&＃xff0c;每次模型参数不同&＃xff0c;输出的结果都无法准确的预测出正确结果&＃xff1b;

3、残差(噪声)

残差是指预测结果与真实值之间的差异&＃xff0c;这么一看&＃xff0c;和模型偏差的定义很接近&＃xff0c;两者的区别是偏差模型拟合度不够导致&＃xff0c;而残差是模型准确&＃xff0c;但仍然与真实值有一定的差异&＃xff0c;这里可以理解成噪声&＃xff0c;噪声是随机的&＃xff0c;意味着不可预测&＃xff0c;而偏差不是随机产生的&＃xff0c;可通过一定的特征工程进行预测&＃xff1b;
如果一个模型如果出现了高偏差的话&＃xff0c;增加训练集的数量就没有作用了。

高偏差

偏差&＃xff1a;描述的是预测值&＃xff08;估计值&＃xff09;的期望与真实值之间的差距。偏差越大&＃xff0c;越偏离真实数据集。

交叉验证误差Jcv
当m&＃xff08;训练集&＃xff09;很小的时候&＃xff0c;Jtrain(θ)也很小&＃xff0c;因为很容易就能拟合&＃xff08;甚至过拟合&＃xff09;&＃xff0c;但用这个训练好的模型在验证集上来验证&＃xff0c;就会出现很差的效果Jcv(θ)异常的大&＃xff1b;随着m的增大&＃xff0c;Jtrain(θ)开始增大&＃xff0c;Jcv(θ)开始减小&＃xff1b;当m越来越大的时候&＃xff0c;Jcv(θ)也越来越小&＃xff0c;也就是说明模型的泛化程度越来越好&＃xff1b;但随着m的增大&＃xff0c;Jtrain(θ)也迅速增大&＃xff0c;然后超过了最优值&＃xff0c;虽然Jcv(θ)也在一直减少&＃xff0c;但是始终不会达到最优状态且离最优值很远&＃xff0c;故而出现高偏差。所以&＃xff0c;如果一个模型如果出现了高偏差的话&＃xff0c;增加训练集的数量就没有作用了。

高方差

方差&＃xff1a;描述的是预测值的变化范围&＃xff0c;离散程度&＃xff0c;也就是离其期望值的距离。方差越大&＃xff0c;预测结果数据的分布越散。

当m较小时&＃xff0c;同上面一样&＃xff1b;随着m的增大&＃xff0c;Jcv(θ)也逐渐变小&＃xff0c;也就是说明模型的泛化程度越来越好&＃xff1b;当m越来越大时&＃xff0c;Jtrain(θ)的虽然持续在增长&＃xff0c;但是几乎出现了停滞&＃xff0c;很靠近最优的情况&＃xff1b;且随着m的增长模型的泛化能力一直在增强&＃xff0c;但同样增长得比较缓慢&＃xff0c;故而出现了高方差。所以&＃xff0c;如果一个模型如果出现了高方差的话&＃xff0c;增加训练集的数量仍可以提高模型的性能。

总结

• 在高偏差/欠拟合的情况下&＃xff0c;增加数据到训练集不一定能有帮助

• 在高方差/过拟合的情况下&＃xff0c;增加更多数据到训练集可能可以提高算法效果

基于偏差的误差&＃xff1a;所谓基于偏差的误差是我们模型预期的预测与我们将要预测的真实值之间的差值。偏差是用来衡量我们的模型的预测同真实值的差异。

基于方差的误差&＃xff1a;基于方差的误差描述了一个模型对给定的数据进行预测的可变性。比如&＃xff0c;当你多次重复构建完整模型的进程时&＃xff0c;方差是&＃xff0c;在预测模型的不同关系间变化的多少

左上&＃xff1a;低偏差&＃xff0c;低方差。表现出来就是&＃xff0c;预测结果准确率很高&＃xff0c;并且模型比较健壮&＃xff08;稳定&＃xff09;&＃xff0c;预测结果高度集中。

右上&＃xff1a;低偏差&＃xff0c;高方差。表现出来就是&＃xff0c;预测结果准确率较高&＃xff0c;并且模型不稳定&＃xff0c;预测结果比较发散。

左下&＃xff1a;高偏差&＃xff0c;低方差。表现出来就是&＃xff0c;预测结果准确率较低&＃xff0c;但是模型稳定&＃xff0c;预测结果比较集中。

右下&＃xff1a;高偏差&＃xff0c;高方差。表现出来就是&＃xff0c;预测结果准确率较低&＃xff0c;模型也不稳定&＃xff0c;预测结果比较发散。

偏差&＃xff08;bias&＃xff09;:对象是单个模型&＃xff0c; 期望输出与真实标记的差别。
方差&＃xff08;Variance&＃xff09;&＃xff1a;对象是多个模型,表示多个模型差异程度。