机器学习笔记之正则化原理的易懂解释

机器学习笔记之正则化

解决什么问题

过拟合问题&＃xff0c;在使用多项式拟合回归的时候&＃xff0c;当所选的多项式次数过高的时候&＃xff0c;容易产生过拟合现象&＃xff0c;虽然对每一个样本点都能很好的符合&＃xff0c;但是并不适合我们进行分析&＃xff0c;例如&＃xff1a;

可以看到&＃xff0c;在这个例子中&＃xff0c;如果我们用了一个4次的多项式进行拟合&＃xff0c;效果明显不如二次多项式&＃xff0c;为了解决这个问题&＃xff0c;我们就相当于需要对一些影响因素&＃xff08;即自变量&＃xff09;降低权重&＃xff0c;降低他们对模型的影响。
如上图我们在求解代价函数的时候&＃xff0c;给$$\theta 3\theta 4$$加上了一个很大的系数&＃xff08;不太会打公式&＃xff09;&＃xff0c;这样在求这个代价函数最小值点的时候就会将这两个变量变得很小&＃xff0c;达到我们的目的

具体操作

上图是梯度下降中的具体操作方法&＃xff0c;就是在我们做步长梯度下降的时候&＃xff0c;在方向上&＃xff08;即代价函数的求导&＃xff09;加上新的项&＃xff0c;其中系数$$\lambda$$为一个权重因子&＃xff0c;相当于调整的不同影响因素的影响程度。
同样的道理&＃xff0c;在logistic回归中正则的处理方式也十分类似&＃xff1a;

最后一个问题

那么$$\lambda$$具体该怎么求呢
诶&＃xff0c;我也不知道&＃xff0c;这实际上是有更专门的方法自动的选择数值&＃xff0c;来同时避免欠拟合和过拟合的
这里就先不说了&＃xff0c;先了解下正则的原理和它要解决的问题是我们学习的第一步哦