正则化2

摘要&＃xff1a;本文主要分为三部分&＃xff0c;先讲述什么是正则化&＃xff0c;再讲L1和L2正则化数学原理&＃xff0c;最后小结对比。

一、什么是正则化

上篇机器学习之线性方程与学习率中引入损失函数&＃xff0c;以便寻找最优权重W。

然而正如大名鼎鼎的奥卡姆剃刀定律&＃xff0c;

模型越复杂&＃xff0c;越容易过拟合。

因此&＃xff0c;原先以最小化损失&＃xff08;经验风险最小化&＃xff09;为目标&＃xff1a;

现在以最小化损失和模型复杂度&＃xff08;结构风险最小化&＃xff09;为目标&＃xff1a;

通过降低复杂模型的复杂度来防止过拟合的规则称为正则化。

二、L1 和 L2 正则化的数学原理

机器学习中最常见的即L1和L2正则化。

1. L1正则化&＃xff0c;即原损失函数 &＃43; 所有权重的平均绝对值 * λ &＃xff0c;其中λ >0

根据损失更新ω&＃xff0c;需要先对ω求导&＃xff1a;

那么权重ω的更新规则为&＃xff1a;

比原始的更新规则多出了η * λ * sgn(ω)/n。

可见每次更新&＃xff0c;ω都是往0靠&＃xff0c;即使网络中的权重尽可能为0。

2. L2正则化&＃xff0c;即原损失函数 &＃43; 所有权重平方和的平均值 * λ / 2 , λ>0

同样&＃xff0c;需要先对ω求导&＃xff1a;

那么权重ω的更新规则为&＃xff1a;

原始的更新规则ω系数为1&＃xff0c;现在为 1ηλ/n 。

因为η、λ、n都>0&＃xff0c;所以 1ηλ/n

三、L1和L2正则化小结

L1 正则化可以理解为每次从权重中减去一个常数。

L2 正则化可以理解为每次移除权重的 x%。

本质都是为了降低模型的复杂度&＃xff0c;防止过拟合。