偏差方差分解定理,偏差方差分解问题python

什么是偏差与方差？

泛化误差可以分解成偏差的平方加上方差加上噪声

偏差度量了学习算法的期望预测和真实结果的偏离程度，刻画了学习算法本身的拟合能力。

方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成的影响

噪声表达了 当前任务上任何学习算法所能达到的期望泛化误差下届，刻画了 问题本身的难度。

偏差和方差一般称为bias 和variance，一般训练程度越强，偏差越小，方差越大，泛化误差一般在中间有一个最小值，如果偏差较大，方差较小，此时一般称为欠拟合，而偏差小，方差大称为过拟合。