吴恩达《机器学习》课程笔记——第八章：正则化

上一篇  ※※※※※※※※  【回到目录】  ※※※※※※※※  下一篇

8.1 过拟合问题

我们首先来解释一下什么叫欠拟合和过拟合。

左边的图&＃xff1a;该模型是一个线性模型&＃xff0c;不能很好地拟合出训练集&＃xff0c;有较大的偏差&＃xff0c;这就是欠拟合&＃xff1b;ps&＃xff1a;当然&＃xff0c;对于数据集较为简单的情况&＃xff0c;我们也可以采取取对数等预处理方式&＃xff0c;从而使得线性模型能较好的拟合出数据&＃xff0c;但不太常用。

中间的图&＃xff1a;增加了一个特征?之后&＃xff0c;该模型可以较好的拟合出训练集&＃xff1b;

右边的模型&＃xff1a;增加过多的特征?&＃xff0c;虽然模型非常好的拟合了&＃xff0c;但是由于过于强调去拟合训练集的数据&＃xff0c;丢失了算法的本质&＃xff1a;预测新数据。当我们拿该模型去预测其他的测试集数据时&＃xff0c;效果会较差&＃xff0c;存在高方差问题&＃xff0c;这就是过拟合。

除了回归问题&＃xff0c;分类问题中也存在这样的情况&＃xff1a;&＃xff08;从左到右依次为欠拟合、拟合恰当、过拟合&＃xff09;

过拟合问题出现的根本原因是特征维度过多&＃xff0c;模型假设过于复杂&＃xff0c;参数过多&＃xff0c;训练数据过少&＃xff0c;噪声过多&＃xff0c;导致拟合的函数完美的预测训练集&＃xff0c;但对新数据的测试集预测结果差。 过度的拟合了训练数据&＃xff0c;而没有考虑到泛化能力。

因此&＃xff0c;解决过拟合问题的方式有&＃xff1a;

1、降低特征维度&＃xff1a;丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征&＃xff0c;或者使用一些模型选择的算法来帮忙&＃xff08;例如 PCA&＃xff09;&＃xff1b;

2、正则化&＃xff1a; 保留所有的特征&＃xff0c;但是减少这些特征的大小&＃xff08;白话说叫让多余的特征没有存在感&＃xff09;。

3、增加训练数据&＃xff1a;使用较大的训练数据也可以减少过拟合问题&＃xff0c;但是一般收集数据集比较麻烦。

8.2 代价函数

在上面的回归问题中&＃xff0c;出现过拟合问题的模型为&＃xff1a;ℎ?(?) &＃61; ?₀ &＃43; ?₁?₁ &＃43; ?₂?₂² &＃43; ?₃?₃³ &＃43; ?₄?₄⁴  。从前面的三个例子中我们知道&＃xff0c;正是因为高阶项导致了过拟合的产生&＃xff0c;如果我们能使这些高阶项的系数&＃xff08;如?₃、?₄&＃xff09;变为0的话&＃xff0c;那么就可以较好的拟合了。

因此&＃xff0c;一定程度上减小这些参数 ? 的值&＃xff0c;就是正则化的基本方法。因此我们将所有的特征带入惩罚过程&＃xff0c;并让代价函数的最优化程序来决定惩罚的程度。

修改后的代价函数&＃xff1a;

其中&＃xff0c;? 称为正则化系数。注意&＃xff1a;j 是从1开始的&＃xff0c;我们不对 ?₀ 进行惩罚。

增加正则化项可以使 ? 减小的原因在于&＃xff1a;优化过程中&＃xff0c;为了使代价函数尽可能的小&＃xff0c;在? 的值较大的情况下&＃xff0c;所有的  ? 都得在一定程度上减小。

正则化后的模型与原模型对比如下&＃xff1a;

如果 ? 取得过大&＃xff0c;那么所有的参数都最小化了&＃xff0c;使得模型变成了 ℎ?(?) &＃61; ?₀ &＃xff0c;变成了欠拟合。所以对于正则化&＃xff0c;我们需要选取一个合理的  ? 。

8.3 线性回归的正则化

对于线性回归问题&＃xff0c;我们之前介绍过两种学习算法&＃xff1a;梯度下降和正规方程。接下来介绍将正则化加入到两种学习算法中的细节。

1、梯度下降

因为未对?₀ 进行正则化&＃xff0c;因此梯度下降算法被分开处理&＃xff08;?₀ 为一部分&＃xff0c;其他的?为一部分&＃xff09;&＃xff1a;

整理第二个式子&＃xff1a;

对于未增加正则化项的式子&＃xff1a;

可以看出&＃xff1a;正则化线性回归的梯度下降&＃xff0c;其变化主要在于&＃xff1a;每次在原有的更新规则基础上令 ? 值减少了一个额外的值。 

2、正规方程

我们同样也可以利用正规方程来求解正则化线性回归模型&＃xff1a;

公式中矩阵的维度为&＃xff1a;&＃xff08;n&＃43;1&＃xff0c;n&＃43;1&＃xff09;。

8.4 Logistic回归的正则化

在第七章中&＃xff0c;我们学习了多种优化算法&＃xff1a;基础的为梯度下降&＃xff0c;以及一些高级优化算法&＃xff08;见7.6&＃xff09;。

在这些高级优化算法中&＃xff0c;你需要做的是设计好代价函数 J(?) &＃xff0c;然后调用高级优化算法去最小化 J(?) 。 

与线性回归一样&＃xff0c;我们也需要修改代价函数&＃xff0c;即在代价函数中添加正则化项&＃xff1a;

1、梯度下降

这看起来和线性回归的梯度下降过程一样&＃xff0c;然而我们需要注意的是&＃xff1a;在逻辑回归中&＃xff0c;h?(x) &＃61; g(?^TX)&＃xff0c;与线性回归完全不同。

2、高级优化算法

我们依旧可以用 fminuc 函数等高级优化算法来求解代价函数最小化的参数&＃xff0c;值得注意的是参数?₀的更新规则与其他情况不同。

如果这篇文章帮助到了你&＃xff0c;或者你有任何问题&＃xff0c;欢迎扫码关注微信公众号&＃xff1a;一刻AI  在后台留言即可&＃xff0c;让我们一起学习一起进步&＃xff01;

以上&＃xff0c;就是吴恩达机器学习课程第八章的主要内容。

【重要提示】&＃xff1a;本人机器学习课程的主要学习资料包括&＃xff1a;吴恩达教授的机器学习课程和黄广海博士的中文学习笔记。感谢吴恩达教授和黄广海博士的知识分享和无私奉献。作为机器学习小白&＃xff0c;计划每周末记录一周以来的学习内容&＃xff0c;总结回顾。希望大家多多挑错&＃xff0c;也愿我的学习笔记能帮助到有需要的人。