[机器学习]支持向量机1

间隔和支持向量

给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yi&＃x2208;{&＃x2212;1,+1}" role="presentation"> {(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1} $\left\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\right\},y_i\in \left\{-1,+1\right\}$。分类学习最基本的思想就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，但是能将训练样本分开的划分超平面可能有很多，哪一个是最好的呢？

直观上看，应该取找位于两类样本“正中间”的划分超平面，即B1" role="presentation"> B1 $B_1$，因为该划分超平面对训练样本局部扰动的“容忍”性最好。例如，由于训练集的局限性或噪声的因素，训练集外的样本可能比上图中训练样本更接近两个类的分割界，这将使许多划分超平面出现错误，而B1" role="presentation"> B1 $B_1$的超平面受影响最小。换言之，这个划分超平面所产生的分类结果是最鲁棒的，对未见的示例泛化能力最强。

在样本空间中，划分超平面可通过如下线性方程来描述：

这个公式具体可以用点到直线的距离来解释：点P(x0,y0" role="presentation"> x0,y0 $x_0,y_0$)到直线Ax+By+c=0" role="presentation"> Ax+By+c=0 $Ax+By+c=0$的距离为

假设超平面(&＃x03C9;,b" role="presentation"> ω,b $\omega ,b$)能将训练样本正确分类，即对于(&＃x03C9;i,yi)&＃x2208;D" role="presentation"> (ωi,yi)∈D $({\omega }_i,y_i)\in D$,若yi=+1" role="presentation"> yi=+1 $y_i=+1$, 则有&＃x03C9;Txi+b>0" role="presentation"> ωTxi+b>0 ${\omega }^T{x}_i+b>0$; 若yi=&＃x2212;1" role="presentation"> yi=−1 $y_i=-1$，则有&＃x03C9;Txi+b<0" role="presentation"> ωTxi+b<0 ${\omega }^T{x}_i+b<0$