过拟合解决办法:
加数据
特征选择/特征提取(比如PCA)
正则化
正则化框架:
常用的有两种范数:
L1正则是不存在解析解的,我们能求L2范数的目标函数:
所以w为:
对目标函数求导,令其导数为0:
得w估计:
与最小二乘估计对比: