SVM支持向量机系列理论(八)核逻辑回归

kernel 逻辑回归&＃xff08;KRL&＃xff09;就是使用Representer Theory在L2正则的逻辑回归模型中应用核技巧。

1. Representer Theoem

Representer Theoem是说&＃xff0c;对于任何一个L2正则化的线性模型&＃xff0c;其最优的权重向量 w∗w∗ 会是其如输入特征空间的线性组合。即&＃xff1a;

而在我们的线性模型中&＃xff0c;由于有 w∗&＃61;∑Ni&＃61;1 β∗iyi ziw∗&＃61;∑i&＃61;1Nβi∗yizi&＃xff0c;因此最后的模型目标函数f(z)&＃61;w∗z&＃43;bf(z)&＃61;w∗z&＃43;b中&＃xff0c;总可以表达成核函数的形式&＃xff0c;因此可以得出结论&＃xff1a;对于任何一个L2正则化的线性模型&＃xff0c;都可以使用核技巧。

2. 核逻辑回归&＃xff08;KRL&＃xff09;

利用w∗&＃61;∑Ni&＃61;1 β∗iyi ziw∗&＃61;∑i&＃61;1Nβi∗yizi&＃xff0c;代入L2正则化的逻辑回归模型&＃xff0c;便可以得到KRL模型&＃xff0c;引入核技巧后&＃xff0c;我们的逻辑回归模型就可以解决非线性问题了&＃xff01;
如下&＃xff1a;

那么这个无约束的优化问题同样可以利用梯度下降等算法求解最优的 ββ,与支持向量中的αα不一样的是&＃xff0c;ββ大部分是非零的。

参考&＃xff1a; 林轩田 机器学习技法