机器学习SVM硬间隔与软间隔：重要参数C

到这里&＃xff0c;我们已经了解了线性SVC的基本原理&＃xff0c;以及SVM如何被推广到非线性情况下&＃xff0c;还了解了核函数的选择和应用。但实际上&＃xff0c;我们依然没有完全了解SVM用于二分类的全貌。我们之前在理论推导中使用的数据都有一个特点&＃xff0c;那就是他们或是完全线性可分&＃xff0c;或者是非线性的数据。在我们对比核函数时&＃xff0c;实际上用到了一种不同的数据&＃xff0c;那就是不完全线性可分的数据集。比如说如下数据集&＃xff1a;

这个数据集和我们最开始介绍SVM如何工作的时候的数据集一模一样&＃xff0c;除了多了P和Q两个点。我们注意到&＃xff0c;虽然决策边界B₁的间隔已经非常宽了&＃xff0c;然而点P和Q依然被分错了类别&＃xff0c;相反&＃xff0c;边际比较小的B₂却正确地分出了点P和Q的类别。这里并不是说B₂此时此刻就是一条更好的边界了&＃xff0c;与之前的论述一致&＃xff0c;如果我们引入更多的训练数据&＃xff0c;或引入测试数据&＃xff0c; 更加宽敞的边界可以帮助它有更好的表现。但是&＃xff0c;和之前不一样&＃xff0c;现在让边际最大的决策边界的训练误差也不可能为0了。此时&＃xff0c;我们就需要引入“软间隔”的概念&＃xff1a;

硬间隔与软间隔

当两组数据是完全线性可分&＃xff0c;我们可以找出一个决策边界使得训练集上的分类误差为0&＃xff0c;这两种数据就被称为是存在”硬间隔“的。当两组数据几乎是完全线性可分的&＃xff0c;但决策边界在训练集上存在较小的训练误差&＃xff0c;这两种数据就被称为是存在”软间隔“。
我们可以通过调整我们对决策边界的定义&＃xff0c;将硬间隔时得出的数学结论推广到软间隔的情况上&＃xff0c;让决策边界能够忍受一小部分训练误差。这个时候&＃xff0c;我们的决策边界就不是单纯地寻求最大边际了&＃xff0c;因为对于软间隔地数据来说&＃xff0c;边际越大被分错的样本也就会越多&＃xff0c;因此我们需要找出一个”最大边际“与”被分错的样本数量“之间的平衡。

看上图&＃xff0c;原始的决策边界$\mathbf{\omega }\cdot \mathbf{x}\&＃43;b\&＃61;0$&＃xff0c;原本的平行于决策边界的两个虚线超平面$\mathbf{\omega }\cdot \mathbf{x}\&＃43;b\&＃61;1$和$\mathbf{\omega }\cdot \mathbf{x}\&＃43;b\&＃61;-1$都依然有效。我们的原始判别函数为&＃xff1a;
ω⋅xi&＃43;b⩾1ifyi&＃61;1ω⋅xi&＃43;b⩽−1ifyi&＃61;−1\boldsymbol{ω\cdot x_i}&＃43;b\geqslant 1 \qquad if \quad y_i&＃61;1 \\ \boldsymbol{ω\cdot x_i}&＃43;b\leqslant -1 \qquad if \quad y_i&＃61;-1ω⋅xi​&＃43;b⩾1ifyi​&＃61;1ω⋅xi​&＃43;b⩽−1ifyi​&＃61;−1
不过&＃xff0c;这些超平面现在无法让数据上的训练误差等于0了&＃xff0c;因为此时存在了一个混杂在红色点中的紫色点x_p。于是&＃xff0c;我们需要放松我们原始判别函数中的不等条件&＃xff0c;来让决策边界能够适用于我们的异常点&＃xff0c;引入松弛系数ζ来帮助我们优化原始的判别函数&＃xff1a;
ω⋅xi&＃43;b⩾1−ζiifyi&＃61;1ω⋅xi&＃43;b⩽−1&＃43;ζiifyi&＃61;−1\boldsymbol{ω\cdot x_i}&＃43;b\geqslant 1-ζ_i \qquad if \quad y_i&＃61;1 \\ \boldsymbol{ω\cdot x_i}&＃43;b\leqslant -1&＃43;ζ_i \qquad if \quad y_i&＃61;-1ω⋅xi​&＃43;b⩾1−ζi​ifyi​&＃61;1ω⋅xi​&＃43;b⩽−1&＃43;ζi​ifyi​&＃61;−1
其中ζ_i>0。可以看得出&＃xff0c;这其实是将原本的虚线超平面向图像的上方和下方平移。松弛系数其实很好理解&＃xff0c;来看上面的图像。位于红色点附近的紫色点x_p在原本的判别函数中必定会被分为红色&＃xff0c;所以一定会被判断错。现在作一条与决策边界平行且过点x_p的直线ω⋅xi&＃43;b&＃61;1−ζi\boldsymbol{ω\cdot x_i}&＃43;b &＃61; 1-ζ_iω⋅xi​&＃43;b&＃61;1−ζi​&＃xff08;图中的蓝色虚线&＃xff09;。这条直线是由ω⋅xi&＃43;b&＃61;1\boldsymbol{ω\cdot x_i}&＃43;b &＃61; 1ω⋅xi​&＃43;b&＃61;1平移得到&＃xff0c;所以两条直线在纵坐标上的差异就是ζ&＃xff08;竖直的黑色箭头&＃xff09;。而点x_p到ω⋅xi&＃43;b&＃61;1\boldsymbol{ω\cdot x_i}&＃43;b &＃61; 1ω⋅xi​&＃43;b&＃61;1的距离就可以表示为ζ⋅ω∣∣ω∣∣\frac{ζ \cdot ω}{||ω||}∣∣ω∣∣ζ⋅ω​&＃xff0c;即ζ在ω方向上的投影。 由于单位向量是固定的&＃xff0c;所以ζ可以作为点x_p在原始的决策边界上的分类错误的程度的表示&＃xff0c;隔得越远&＃xff0c;分得越错。但注意&＃xff0c; ζ并不是点到决策超平面的距离本身。
不难注意到&＃xff0c;我们让ω⋅xi&＃43;b⩾1−ζi\boldsymbol{ω\cdot x_i}&＃43;b\geqslant 1-ζ_iω⋅xi​&＃43;b⩾1−ζi​作为我们的新决策超平面&＃xff0c;此时此刻&＃xff0c;混杂在红色点中的紫色点就是我们的支持向量了。所以软间隔让决定两条虚线超平面的支持向量可能是来自于同一个类别的样本点&＃xff0c;而硬间隔的两条虚线超平面必须是由来自两个不同类别的支持向量决定的。而所有可能影响我们的超平面的样本可能都会被定义为支持向量&＃xff0c;此时此刻&＃xff0c;支持向量就不再是所有压在虚线超平面上的点&＃xff0c;而是所有可能影响我们的超平面的位置的那些混杂在彼此的类别中的点了。观察一下我们对不同数据集分类时&＃xff0c;支持向量都有哪些&＃xff1f;软间隔如何影响了超平面和支持向量&＃xff0c;就一目了然了。
这个新的超平面还有其他的问题&＃xff0c;虽然我们把异常的紫色点分类正确了&＃xff0c;但我们同时也分错了一系列红色的点。所以我们必须在我们求解最大边际的损失函数中加上一个惩罚项&＃xff0c;用来惩罚我们具有巨大松弛系数的决策超平面。我们的拉格朗日函数&＃xff0c;拉格朗日对偶函数&＃xff0c;也因此都被松弛系数改变。现在&＃xff0c;我们的损失函数为&＃xff1a;

其中C是用来控制惩罚项的惩罚力度的系数。
我们的拉格朗日函数为&＃xff08;其中μ是第二个拉格朗日乘数&＃xff09;&＃xff1a;

需要满足的KKT条件为&＃xff1a;

拉格朗日对偶函数为&＃xff1a;

这种状况下的拉格朗日对偶函数看起来和线性可分状况下的对偶函数一模一样&＃xff0c;但是需要注意的是&＃xff0c;在这个函数中&＃xff0c;拉格朗日乘数α的取值的限制改变了。在硬间隔的状况下&＃xff0c;拉格朗日乘数值需要大于等于0&＃xff0c;而现在α被要求不能够大于用来控制惩罚项的惩罚力度的系数C。有了对偶函数之后&＃xff0c;我们的求解过程和硬间隔下的步骤一致。以上所有的公式&＃xff0c;是以线性硬间隔数据为基础&＃xff0c;考虑了软间隔存在的情况和数据是非线性的状况而得来的。而这些公式&＃xff0c;就是sklearn类SVC背后使用的最终公式。公式中现在唯一的新变量&＃xff0c;松弛系数的惩罚力度C&＃xff0c;由我们的参数C来进行控制。

**参数C用于权衡”训练样本的正确分类“与”决策函数的边际最大化“**两个不可同时完成的目标&＃xff0c;希望找出一个平衡点来让模型的效果最佳。

C的含义

浮点数&＃xff0c;默认1&＃xff0c;必须大于等于0&＃xff0c;可不填
C是松弛系数的惩罚项系数。如果C值设定比较大&＃xff0c;那SVC可能会选择边际较小的&＃xff0c;能够更好地分类所有训练点的决策边界&＃xff0c;不过模型的训练时间也会更长。如果C的设定值较小&＃xff0c;那SVC会尽量最大化边界&＃xff0c;决策功能会更简单&＃xff0c;但代价是训练的准确度。换句话说&＃xff0c;C在SVM中的影响就像正则化参数对逻辑回归的影响。
在实际使用中&＃xff0c;C和核函数的相关参数&＃xff08;gamma&＃xff0c;degree等等&＃xff09;们搭配&＃xff0c;往往是SVM调参的重点。与gamma不同&＃xff0c;C没有在对偶函数中出现&＃xff0c;并且是明确了调参目标的&＃xff0c;所以我们可以明确我们究竟是否需要训练集上的高精确度来调整C的方向。默认情况下C为1&＃xff0c;通常来说这都是一个合理的参数。 如果我们的数据很嘈杂&＃xff0c;那我们往往减小C。当然&＃xff0c;我们也可以使用网格搜索或者学习曲线来调整C的值。

#参数 C 的学习曲线#调线性核函数
score &＃61; []
C_range &＃61; np.linspace(0.01,30,50)
for i in C_range:clf &＃61; SVC(kernel&＃61;"linear",C&＃61;i).fit(Xtrain,Ytrain)score.append(clf.score(Xtest,Ytest))print(max(score), C_range[score.index(max(score))])
plt.plot(C_range,score)
plt.show()


0.9766081871345029 1.2340816326530613


#换rbf
score &＃61; []
C_range &＃61; np.linspace(0.01,30,50)
for i in C_range:clf &＃61; SVC(kernel&＃61;"rbf",C&＃61;i,gamma &＃61; 0.012).fit(Xtrain,Ytrain)score.append(clf.score(Xtest,Ytest))print(max(score), C_range[score.index(max(score))])
plt.plot(C_range,score)
plt.show()


0.9824561403508771 6.7424489795918365


#进一步细化
score &＃61; []
C_range &＃61; np.linspace(5,7,50)
for i in C_range:clf &＃61; SVC(kernel&＃61;"rbf",C&＃61;i,gamma &＃61; 0.012).fit(Xtrain,Ytrain)score.append(clf.score(Xtest,Ytest))print(max(score), C_range[score.index(max(score))])
plt.plot(C_range,score)
plt.show()


0.9824561403508771 6.26530612244898


此时&＃xff0c;我们找到了乳腺癌数据集上的最优解&＃xff1a;rbf核函数下的98.24%的准确率。当然&＃xff0c;我们还可以使用交叉验证来改进我们的模型&＃xff0c;获得不同测试集和训练集上的交叉验证结果。但上述过程&＃xff0c;为大家展现了如何选择正确的核函数&＃xff0c;以及如何调整核函数的参数&＃xff0c;过程虽然简单&＃xff0c;但是希望可以对大家有所启发。