斯坦福大学公开课：机器学习课程（AndrewNg）——6、监督学习：SupportVectorMachine，破

6&＃xff09;拉格朗日对偶&＃xff08;Lagrange duality&＃xff09;

7&＃xff09;最优间隔分类器&＃xff08;optimal margin classifier&＃xff09;

8&＃xff09;核函数&＃xff08;Kernel&＃xff09;

9&＃xff09;核函数的有效性

6&＃xff09;拉格朗日对偶&＃xff08;Lagrange duality&＃xff09;

先抛开上一节的二次规划&＃xff08;最小值&＃xff09;问题。

对于存在等式约束的极值问题求解&＃xff0c;通过引入拉格朗日算子构造拉格朗日公式就可以完美解决。

对于存在不等式约束的极值问题求解&＃xff0c;如下&＃xff1a;        

我们定义更一般化的拉格朗日公式&＃xff1a;

因为我们求解的是最小值&＃xff0c;而这里的
已经不严格等于0&＃xff0c;而是小于等于0&＃xff0c;我们虽然可以将
调整成很大的正值以使函数的结果是负无穷&＃xff0c;但这种“虚假最小值”并不是我们想要的&＃xff0c;因此我们为了排除这种情况定义下面的函数&＃xff1a;

    这里的P代表primal。

进一步分析&＃xff08;假设或者&＃xff0c;那么我们总是可以调整和来使得有最大值为正无穷。而只有g和h同时满足约束时&＃xff0c;才有最小值f(w)&＃xff0c;这时gi和hi都等于0。&＃xff09;可知&＃xff1a;

   

这样我们原来要求解的二次规划&＃xff08;最小值&＃xff09;问题min f(w)可以转换成求了。而可以进一步转换为&＃xff1a;

 

如果直接求解上式&＃xff0c;首先要面对两个参数&＃xff0c;且是不等式约束&＃xff0c;然后还要在w上求最小值。这个过程不容易做&＃xff0c;所以我们引入该问题的对偶形式&＃xff1a;

相对于原问题&＃xff0c;对偶问题只是更换了min和max的顺序&＃xff0c;而一般更换顺序的结果是Max Min(X) <&＃61; MinMax(X)&＃xff0c;即&＃xff1a;

通过引入的对偶形式&＃xff0c;我们只要找到使d*&＃61;p*&＃xff0c;那么这组中的W*肯定就是我们原来要求解的二次规划&＃xff08;最小值&＃xff09;问题min f(w)的解了&＃xff0c;那么怎么找这组&＃xff1f;根据当前知识&＃xff0c;我们只知道&＃xff1a;假设存在使得是原问题的解&＃xff0c;是对偶问题的解&＃xff0c;如果满足了库恩-塔克条件&＃xff08;Karush-Kuhn-Tucker, KKT condition&＃xff09;&＃xff0c;那么他们就是原问题和对偶问题的解&＃xff08;即&＃xff0c;使原问题和对偶问题等价&＃xff09;。下面给出库恩-塔克条件&＃xff08;Karush-Kuhn-Tucker, KKT condition&＃xff09;&＃xff1a;

公式&＃xff08;5&＃xff09;称为KKT dual complementarity&＃xff08;KKT对偶互补&＃xff09;条件。这个条件隐含了如果&＃xff0c;那么&＃xff0c;此时的w*正处于可行域的边界上&＃xff08;正好取到“&＃61;0”&＃xff09;&＃xff0c;之后我们会明白&＃xff0c;gi(w)&＃61;0才是真正起作用的约束&＃xff1b;而其他位于可行域内部&＃xff08;&＃xff09;的点对应的&＃xff0c;之后我们会明白&＃xff0c;gi(w)<0都是不起作用的约束。这个KKT双重补足条件会用来解释支持向量和SMO的收敛测试。

KKT的总体思想是&＃xff1a;极值会在可行域边界上取得&＃xff0c;也就是在不等式等于0的gi(w)约束或等式hi(w)约束里取得&＃xff0c;而最优下降方向一般是这些“不等式等于0的gi(w)约束或等式hi(w)约束”的线性组合。对于在可行域边界内&＃xff08;&＃xff09;的点&＃xff0c;对最优解不起作用&＃xff0c;因此前面的系数。

7&＃xff09;最优间隔分类器&＃xff08;optimal margin classifier&＃xff09;

上一节中我们只是给出了满足KKT条件就是原问题和对偶问题的解的结论&＃xff0c;但实际上并没有告诉我们具体怎么求。这里我们仍然不给出具体求解的方法&＃xff0c;但只是告诉我们&＃xff0c;如果求出了α*&＃xff08;对于α*的具体求解方法&＃xff0c;我们交给下一节的SMO算法&＃xff09;&＃xff0c;那么就可以求出β*&＃xff0c;进而求出w*&＃xff0c;下面我们看一下这些结论是怎么得到的。

从KKT条件得知只有函数间隔是1&＃xff08;离超平面最近的点&＃xff09;的线性约束式前面的系数&＃xff0c;对应的约束式为&＃xff0c;对于其他的不在线上的点()&＃xff0c;极值不会在他们所在的范围内取得&＃xff0c;因此前面的系数。看下面的图&＃xff1a;

   

实线是最大间隔超平面&＃xff0c;假设×号的是正例&＃xff0c;圆圈的是负例。在虚线上的点就是函数间隔是1的点&＃xff0c;那么他们前面的系数&＃xff0c;其他点都是。这三个点称作支持向量。

重新回到SVM的最初优化问题&＃xff1a;

   

我们将约束条件改写为&＃xff1a;    构造拉格朗日函数如下&＃xff1a;    

    这里只有没有是因为原问题中没有等式约束&＃xff0c;只有不等式约束。

下面我们按照对偶问题的求解步骤来一步步进行&＃xff1a;

对于对偶问题&＃xff0c;我们分为最小化和最大化min L(w,b,α)两步。

首先求解的最小值&＃xff0c;我们先固定&＃xff0c;那么的最小值只与w和b有关&＃xff0c;对w和b分别求偏导数&＃xff1a;

      &＃xff08;d1&＃xff09;            &＃xff08;d2&＃xff09;

化简&＃xff08;d1&＃xff09;得到&＃xff1a;    &＃xff0c;将该式带回到构造的拉格朗日函数中&＃xff0c;化简&＃xff08;化简过程参考&＃xff1a;http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982684.html&＃xff09;得到&＃xff1a;

。注意虽然写的是L(w,b,α)&＃xff0c;实际上却是L(w,b,α)关于自变量w的最小值&＃xff08;目标函数是凸函数&＃xff09;。

接着是极大化上面求得关于自变量w的最小值函数&＃xff0c;

这里我们将向量内积表示为 。

其实它是满足KKT条件的&＃xff0c;所以&＃xff0c;一定存在使得是原问题的解&＃xff0c;是对偶问题的解。

同样的&＃xff0c;的求解留给下一节的SMO算法。这里仅仅假设已经求出了&＃xff0c;那么根据即可求出&＃xff08;原问题的解&＃xff09;&＃xff0c;进而求出

    即离超平面最近的正的函数间隔要等于离超平面最近的负的函数间隔。

最后考虑一个“题外话”&＃xff0c;将前面求解中得到的    带入得&＃xff1a;

   

也就是说&＃xff0c;以前新来的要分类的样本首先根据w和b做一次线性运算&＃xff0c;然后看求的结果是大于0还是小于0来判断是正例还是负例。现在有了&＃xff0c;我们不需要求出w&＃xff0c;只需将新来的样本和训练数据中的所有样本做内积和即可。那有人会说&＃xff0c;与前面所有的样本都做运算是不是太耗时了&＃xff1f;其实不然&＃xff0c;我们从KKT条件中得到&＃xff0c;只有支持向量的&＃xff0c;其他情况。因此&＃xff0c;我们只需求新来的样本和支持向量的内积&＃xff0c;然后运算即可。这种写法为下面要提到的核函数&＃xff08;kernel&＃xff09;做了很好的铺垫。

8&＃xff09;核函数&＃xff08;Kernel&＃xff09;

考虑“线性回归”问题&＃xff0c;假设我们从样本点的分布中看到x和y符合3次曲线&＃xff0c;那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维&＃xff0c;然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射&＃xff08;feature mapping&＃xff09;。映射函数称作&＃xff0c;在这个例子中

我们希望将得到的映射后的特征应用于SVM分类&＃xff0c;而不是最初的属性。这样&＃xff0c;我们需要将前面公式中的内积从&＃xff0c;映射到。将核函数形式化定义&＃xff0c;如果原始属性内积是&＃xff0c;映射后的特征内积为&＃xff0c;那么定义核函数&＃xff08;Kernel&＃xff09;为 。

除了从属性向特征的映射的角度理解核函数外&＃xff0c;领悟核函数的另一种视角是&＃xff1a;由于计算的是内积&＃xff0c;我们可以想到余弦相似度&＃xff0c;如果x和z向量夹角越小&＃xff0c;那么核函数值越大&＃xff0c;反之&＃xff0c;越小。因此&＃xff0c;核函数的值可以看做是和相似度的度量。

到这里&＃xff0c;我们可以得出结论&＃xff0c;要使用核函数&＃xff0c;只需先计算&＃xff0c;然后计算即可&＃xff0c;然而这种计算方式是非常低效的&＃xff0c;那么我们能不能想办法减少计算时间呢&＃xff1f;为了回答这个问题&＃xff0c;我们先看一个核函数&＃xff1a;&＃xff0c;假设x和z都是n维的&＃xff0c;那么展开后得&＃xff1a;

&＃xff0c;这个时候发现我们可以只计算原始特征x和z内积的平方&＃xff08;时间复杂度是O(n)&＃xff09;&＃xff0c;就等价与计算映射后特征的内积&＃xff0c;也就是说我们不需要花时间了。

另一个经典核函数是&＃xff1a;&＃xff0c;如果x和z很相近&＃xff08;&＃xff09;&＃xff0c;那么核函数值为1&＃xff0c;如果x和z相差很大&＃xff08;&＃xff09;&＃xff0c;那么核函数值约等于0。由于这个函数类似于高斯分布&＃xff0c;因此称为高斯核函数&＃xff0c;也叫做径向基函数(Radial Basis Function 简称RBF)。它能够把原始特征映射到无穷维。既然高斯核函数能够比较x和z的相似度&＃xff0c;并映射到0到1&＃xff0c;回想logistic回归&＃xff0c;sigmoid函数可以&＃xff0c;因此还有sigmoid核函数等等。

至于为什么需要映射后的特征而不是最初的属性面提到的&＃xff08;从样本点的分布中看到x和y符合3次曲线&＃xff0c;能更好拟合&＃xff09;是其中一个原因&＃xff0c;另外的一个重要原因是样例可能存在线性不可分的情况&＃xff0c;而将属性映射到高维空间后&＃xff0c;特征往往就可分了。&＃xff08;在《数据挖掘导论》Pang-Ning Tan等人著的《支持向量机》那一章有个很好的例子说明&＃xff09;。下面有张图说明在低维线性不可分时&＃xff0c;映射到高维后就可分了&＃xff0c;使用高斯核函数。

来自Eric Xing的slides

注意&＃xff0c;使用核函数后&＃xff0c;怎么分类新来的样本呢&＃xff1f;线性的时候我们使用SVM学习出w和b&＃xff0c;新来样本x的话&＃xff0c;我们使用来判断&＃xff0c;如果值大于等于1&＃xff0c;那么是正类&＃xff0c;小于等于1是负类。在两者之间&＃xff0c;认为无法确定。如果使用了核函数后&＃xff0c;就变成了&＃xff0c;是否先要找到&＃xff0c;然后再预测&＃xff1f;答案肯定不是了&＃xff0c;找很麻烦&＃xff0c;回想上一节说过的&＃xff0c;只需将替换成&＃xff0c;然后值的判断同上。

9&＃xff09;核函数的有效性

问题&＃xff1a;给定一个函数K&＃xff0c;我们能否使用K来替代计算&＃xff1f;也就说&＃xff0c;对于某个给定的核函数例如&＃xff0c;是否能够找出一个函数映射&＃xff0c;使得对于所有的x和z&＃xff0c;都有&＃xff1f;也可以说&＃xff0c;怎样判断给出的核函数K是不是一个有效的核函数&＃xff08;为什么要判断某个核函数是不是有效地呢&＃xff1f;因为核函数是我们根据经验和所要处理的问题自己定义的&＃xff0c;这就需要我们检验定义的正确性&＃xff01;&＃xff09;。

解决这个问题前&＃xff0c;先给出核函数矩阵&＃xff08;Kernel Matrix&＃xff09;的定义&＃xff1a;给定m个训练样本&＃xff0c;每一个对应一个特征向量&＃xff0c;我们将任意两个和带入核函数K中得到。i可以从1到m&＃xff0c;j可以从1到m&＃xff0c;这样可以计算出m*m的矩阵K称为核函数矩阵&＃xff08;Kernel Matrix&＃xff09;。这里&＃xff0c;我们将核函数矩阵和核函数都使用K来表示。经过一些列推导我们可以得到&＃xff1a;如果K是个有效的核函数&＃xff08;即和等价&＃xff09;&＃xff0c;那么&＃xff0c;在训练集上得到的核函数矩阵K应该是半正定的&＃xff08;&＃xff09;。

这样我们得到一个核函数的必要条件&＃xff1a;K是有效的核函数 &＃61;&＃61;> 核函数矩阵K是对称半正定的。      其实这个条件也是充分的&＃xff0c;由Mercer定理给出&＃xff1a;

Mercer定理&＃xff1a; 如果函数K是上的映射&＃xff08;也就是从两个n维向量映射到实数域&＃xff09;。那么如果K是一个有效核函数&＃xff08;也称为Mercer核函数&＃xff09;&＃xff0c;那么当且仅当对于训练样例&＃xff0c;其相应的核函数矩阵是对称半正定的。

Mercer定理表明&＃xff1a;为了证明K是有效的核函数&＃xff0c;那么我们不用去寻找
&＃xff0c;而只需要在训练集上求出各个
&＃xff0c;然后判断矩阵K是否是半正定&＃xff08;使用左上角主子式大于等于零等方法&＃xff09;即可。

最后说明一点&＃xff0c;核函数不仅仅用在SVM上&＃xff0c;但凡在一个模型后算法中出现了&＃xff0c;我们都可以常使用去替换&＃xff0c;这可能能够很好地改善我们的算法。

参考&＃xff1a;

http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982684.html

http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988406.html