你真的理解机器学习中偏差方差之间的权衡吗？

作者&＃xff1a;chen_h
微信号 & QQ&＃xff1a;862251340
微信公众号&＃xff1a;coderpai
简书地址&＃xff1a;http://www.jianshu.com/p/f143...

我认为对偏差 - 方差之间的权衡判读对学习机器学习是非常重要的。那么为什么这么说呢&＃xff1f;因为这个现象的背后是所有参数&＃xff0c;性能和几乎所有机器学习模型的深层原因。如果你能很深刻的理解这个&＃xff0c;我保证你能很好的理解机器学习的每一个模型。

所以&＃xff0c;我们就不浪费时间在无聊的介绍中&＃xff0c;直接深入挖掘吧。理论讲解可能有一点枯燥&＃xff0c;但我希望你能耐心看完本文。

机器学习中的偏差 - 方差之间的权衡

机器学习全部是关于给定输入数据&＃xff08;X&＃xff09;和给定输出数据&＃xff08;Y&＃xff09;&＃xff0c;然后去寻找一个最佳映射函数&＃xff08;F&＃xff09;&＃xff0c;这个映射函数通常也被叫做目标函数。

任何机器学习算法的预测误差可以分解为三部分&＃xff0c;即&＃xff1a;偏差误差&＃43;方差误差&＃43;不可约的误差&＃xff08;对于给定的模型&＃xff0c;我们不能进一步减少的误差&＃xff09;。在这个文章中&＃xff0c;我们将重点来讨论机器学习中的前两个误差。我们按照如下目录来进行讲解&＃xff1a;

1&＃xff09;偏差误差&＃xff1b;

2&＃xff09;方差误差&＃xff1b;

3&＃xff09;偏差 - 方差之间的权衡&＃xff1b;

4&＃xff09;一些想法的总结&＃xff1b;

1. 偏差误差

用简单的话来说&＃xff0c;这个误差是由于简单的假设所造成的&＃xff0c;因为我们的假设越简单&＃xff0c;那么我们的模型更加容易去训练。

一般而言&＃xff0c;参数化算法具有较高的偏差&＃xff0c;使得学习速度非常快&＃xff0c;而且非常容易去理解&＃xff0c;但是通常不太灵活。

注意&＃xff1a;对于参数化算法和非参数化算法之间的区别&＃xff0c;简单来说&＃xff0c;参数化算法对数据进行参数化&＃xff0c;形成很多的特征&＃xff0c;这种方法训练速度非常快&＃xff0c;而且也不需要很多的数据&＃xff0c;但是他不是很灵活。非参数化算法对目标函数做出很少或者根本不做任何假设&＃xff0c;但是它需要更多的数据&＃xff0c;训练速度非常慢&＃xff0c;模型复杂度非常高&＃xff0c;但是模型非常强大。

低偏差&＃xff1a;对目标函数提出更少的假设&＃xff1b;

高偏差&＃xff1a;对目标函数提出更多的假设&＃xff1b;

低偏差模型例子&＃xff1a;KNN 和 SVM&＃xff1b;

高偏差模型例子&＃xff1a;线性回归和逻辑斯特回归&＃xff1b;

2. 方差误差

1&＃xff09;如果我们使用不同的数据去训练同一个模型&＃xff0c;那么最后我们得到的目标函数估计也是会改变的。

2&＃xff09;目标函数是由机器学习的训练数据所估计得到的&＃xff0c;所以我们期望训练数据拥有一定的方差。理想情况下&＃xff0c;我们不希望目标函数从一个训练数据集到另一个训练数据集有太大的变化&＃xff0c;也就是说我们的算法需要很好的从训练数据中找到一些映射的特征关系&＃xff0c;这样可以保证不同训练集都有一个差不多的目标函数。

低方差&＃xff1a;随着训练数据集的变化&＃xff0c;对目标函数估计值的变化非常小&＃xff1b;

高方差&＃xff1a;随着训练数据集的变化&＃xff0c;对目标函数估计值的变化非常大&＃xff1b;

一般而言&＃xff0c;具有很大灵活性的非参数学习算法都具有很高的方差。

高方差例子&＃xff1a;KNN 和 SVM。

3. 偏差 - 方差之间的权衡

在上面的例子中我们可以看到一个趋势&＃xff1a;参数或者线性的机器学习算法一般都会有一个很高的偏差和一个很低的方差。但是&＃xff0c;非参数或者非线性的机器学习算法一般都有一个很低的偏差和一个很高的方差。所有&＃xff0c;我们需要在这两者之间找到一个平衡点&＃xff0c;来优化我们的算法。

比如&＃xff0c;KNN 算法有很低的偏差和很高的方差&＃xff0c;但是我们可以通过调整 k 的值来改变偏差和方差之间的权衡关系&＃xff0c;从而达到一个比较平衡的状态。

因此&＃xff0c;我们增加偏差会导致方差的减少&＃xff0c;同理&＃xff0c;我们增加方差会导致偏差的减少。但在实践中&＃xff0c;我们无法去计算真正的偏差和方差值&＃xff0c;因为我们不知道实际的目标函数。但是&＃xff0c;作为一种方法&＃xff0c;偏差和方差为我们提供了一种去判断机器学习算法性能的方法。

4. 一些想法的总结

1&＃xff09;机器学习是去找到一个映射函数&＃xff08;F&＃xff09;&＃xff0c;这个函数也经常被称之为目标函数&＃xff1b;

2&＃xff09;偏差是模型所做的简化假设&＃xff0c;使得目标函数更加容易求解&＃xff1b;

3&＃xff09;方差是在给定不同训练数据集的情况下&＃xff0c;目标函数估计值所改变的量&＃xff1b;

4&＃xff09;权衡是去调整一些参数使得偏差和方差之间相对平衡&＃xff1b;

作者&＃xff1a;chen_h
微信号 & QQ&＃xff1a;862251340
简书地址&＃xff1a;http://www.jianshu.com/p/f143...

CoderPai 是一个专注于算法实战的平台&＃xff0c;从基础的算法到人工智能算法都有设计。如果你对算法实战感兴趣&＃xff0c;请快快关注我们吧。加入AI实战微信群&＃xff0c;AI实战QQ群&＃xff0c;ACM算法微信群&＃xff0c;ACM算法QQ群。长按或者扫描如下二维码&＃xff0c;关注 “CoderPai” 微信号&＃xff08;coderpai&＃xff09;