模型评估与优化3正则化

模型评估与优化3–正则化

1.奥卡姆剃刀原理:在所有能解释数据的模型中&＃xff0c;越简单的越靠谱。但是在实际问题中为了拟合复杂的数据,不得不采用更复杂的模型。使用更复杂的模型通常会产生过拟合&＃xff0c;而正则化就是常用的防止过拟合的工具之一。可以看做是模型优化的一种有效方法&＃xff0c;通过限制参数过多或者过大来避免模型过于复杂。

2.什么是正则化
正则化又分为L1正则化和L2正则化。以多项式回归为例&＃xff0c;我们的目标是最优化的最小二乘误差,但是通常在优化目标后面会看到一一个w的平方项,或者w的绝对值的表达式&＃xff0c;这个就是正则项。其中, w的二次平方回归叫做岭回归, w的绝对值回归项叫做Lasso回归。

3.L1和L2的区别
L1、L2正则化目的都是防止过拟合&＃xff0c;两者差别在于&＃xff1a;
岭回归中的L2正则项能将一些w变成很小的值&＃xff0c;而 Lasso回归中的L1正则项得到的w是稀疏的。
Lasso回归会趋向于减少特征数量&＃xff0c;相当于删除特征&＃xff0c;类似于降维&＃xff0c;而岭回归会把一些特征的权重调小&＃xff0c;这些特征都是接近于0的。因此 Lasso 回归在特征选择时候非常有用&＃xff0c;而岭回归就只是一种规则化而已。
在所有特征中&＃xff0c;如果只有少数特征起重要作用的情况下&＃xff0c;选择Lasso比较合适&＃xff0c;它能自动选择特征。而大部分特征都能起作用而且作用很平均&＃xff0c;那么岭回归更合适。

上图左侧为L1正则化&＃xff0c;右侧为L2正则化
圆形和菱形区域分别为正则化限定的W的有效区域&＃xff0c;即W不能离开上图棕色区域&＃xff0c;最多只能位于圆形或者菱形的边缘位置。老师可根据个人理解进行展开推导。上图可以从图像化的角度&＃xff0c;分析L2和L1正则化的物理意义&＃xff0c;解释了这两个正则化项的损失函数是如何推导出来的。