正则化_机器学习之正则化

正则化的概念&＃xff0c;相信对于熟悉机器学习的同学来说并不陌生。

前不久我参加了一次面试&＃xff0c;过程中被面试官问到了L1和L2正则项&＃xff0c;却苦于只记得大概含义&＃xff0c;却说不出更具体的例子&＃xff0c;回答得并不是很好。面试结束之后我深刻反思&＃xff0c;痛定思痛&＃xff0c;于是有了对正则化示例的梳理&＃xff0c;就是为了加深自己的印象&＃xff0c;以免下次再被问到。

什么是正则化&＃xff1f;

机器学习模型中几乎都可以看到损失函数后面会添加一个额外项&＃xff0c;常用的额外项一般有两种&＃xff0c;即 L1正则化 和 L2正则化 &＃xff0c;或者称作 L1范数 和 L2范数 。

在机器学习算法的训练过程中&＃xff0c;经常会遇到过拟合的问题。过拟合即学习模型对训练集学习的“太好”后&＃xff0c;可能把训练集本身的一些特点当做所有潜在样本都会具有的一般性质&＃xff0c;例如捡到一片树叶是锯齿状就以为所有的树叶都是锯齿状。这样就会导致模型的泛化性能下降。

解决过拟合的方法之一&＃xff0c;就是为模型添加正则项。L1正则化和L2正则化可以看做是损失函数(目标函数)的惩罚项。所谓惩罚是指对损失函数中的某些参数做一些限制&＃xff0c;以中和模型的复杂程度&＃xff0c;避免模型过拟合。

机器学习的任务就是要通过一些方法(比如梯度下降)求出损失函数的最小值。以线性回归模型为例&＃xff0c;使用L1正则化的模型叫做Lasso回归&＃xff0c;使用L2正则化的模型叫做Ridge回归(岭回归):

优化目标&＃xff1a;

min 

原函数等高线

L1和L2加入后的函数图像&＃xff1a;

从上图中我们可以看出&＃xff1a;

如果不加L1和L2正则化&＃xff0c;对于线性回归这种目标函数为凸函数的情况&＃xff0c;最终的结果就是最里边的紫色的小圈圈等高线上的点。

当加入L1正则化的时候&＃xff0c;我们先画出