四个小项目完全解读支持向量机|文末附代码下载方法

来源&＃xff1a;https://medium.com/

翻译&＃xff1a;小马

支持向量机算法的基础是最大间隔分类器&＃xff0c;最大间隔分类器虽然很简单&＃xff0c;但不能应用于大部分数据&＃xff0c;因为大部分属是非线性数据&＃xff0c;无法用线性分类器进行分类&＃xff0c;解决方案是对特征空间进行核函数映射&＃xff0c;然后再运行最大间隔分类器。

本文跳过枯燥乏味的算法推导过程&＃xff0c;循序渐进的介绍支持向量机分类原理&＃xff0c;并通过四个小项目快速的理解支持向量机的线性分类&＃xff0c;非线性分类和参数调参过程。

文末附代码和数据下载方法&＃xff0c;可直接运行

1.最大间隔分类器

最大间隔分类器使用超平面进行分类。

什么是超平面&＃xff1f;

假如特征空间是 p 维&＃xff0c;超平面就是 p-1维&＃xff0c;为了可视化超平面&＃xff0c;假设特征空间是3个维度的&＃xff0c;那么超平面是2维的。

超平面表达式如下&＃xff1a;

如果数据的特征满足上式&＃xff0c;那么该点落在超平面上&＃xff0c;若不满足&＃xff0c;则该点处于超平面的两侧。

超平面如下图&＃xff1a;

一般来说&＃xff0c;如果数据可以用超平面完美地进行分离&＃xff0c;那么超平面的数量是无限的&＃xff0c;因为它可以向上移动、向下移动&＃xff0c;或者对该超平面进行小角度的选择而不与观测数据接触。

超平面是无限的&＃xff0c;如何选择最优超平面&＃xff1f;

最优超平面是离观测点最远的分离超平面&＃xff0c;在给定超平面的情况下&＃xff0c;我们计算每个训练数据到超平面的距离&＃xff0c;这就是所谓的间隔&＃xff0c;最优超平面也就是间隔最大的分类器。如下图&＃xff1a;

正如你所看到的&＃xff0c;有三个观测点到超平面的距离相等&＃xff0c;这三个观测点就是支持向量&＃xff0c;若这三个观测点的位置改变了&＃xff0c;超平面也会相应的改变。最大间隔分类器的性能只与这三个点相关&＃xff0c;与其他数据不相关&＃xff0c;看到这里&＃xff0c;是不是对支持向量机算法有了新的收获了&＃xff1f;

如果数据分布是非线性的&＃xff0c;不能用超平面进行分类&＃xff0c;如下图&＃xff1a;

对于这样的数据分布&＃xff0c;我们将使用核函数映射为新的特征空间&＃xff0c;再运行最大间隔分类器进行分类&＃xff0c;这种方法称为支持向量机。

2.支持向量机

支持向量机的核函数映射是一种扩展特征空间的方法&＃xff0c;核函数的核心思想是计算两个数据点的相似度。核函数的度没有限制&＃xff0c;使用度大于1的内核可以得到更灵活的决策边界&＃xff0c;如下图所示&＃xff1a;

为了更好的理解核函数的选择是如何影响SVM算法&＃xff0c;我们在四个不同的场景实现它。

项目1——线性核支持向量机

在开始之前&＃xff0c;让我们导入一些有用的库&＃xff1a;

导入需要训练和测试的数据路径&＃xff1a;

定义可多次调用的画图函数&＃xff1a;

散点图可视化数据&＃xff1a;

散点图如下&＃xff1a;

线性核支持向量机对该数据进行分类&＃xff0c;其中正则化参数C&＃61;1&＃xff0c;并使用预测值绘制超平面&＃xff08;hyperplane&＃xff09;&＃xff0c;如下图&＃xff1a;

由上图的分类结果可知&＃xff0c;当正则化参数等于1时&＃xff0c;模型对异常值不敏感。因此&＃xff0c;低的正则化参数往往泛化能力更好&＃xff0c;测试误差率大于验证误差率。

若增加正则化参数C等于100&＃xff0c;那么模型对异常点异常敏感&＃xff0c;分类结果如下图&＃xff1a;

由上图结果可知&＃xff1a;C&＃61;100时&＃xff0c;异常值能够正确分类&＃xff0c;但是分类超平面与样本点的距离非常近&＃xff0c;可以推断该模型处于过拟合状态&＃xff0c;泛化能力差。

项目2——高斯核支持向量机

若分类边界是非线性的&＃xff0c;我们常常使用高斯核进行SVM分类。

首先&＃xff0c;可视化需要分类的数据&＃xff1a;

散点图&＃xff1a;

高斯核用来衡量两个数据点的相似度&＃xff0c;公式如下&＃xff1a;

其中参数σ决定相似度指标趋于零的速度。

高斯核支持向量机训练和预测代码&＃xff1a;

预测结果及分类边界如下图&＃xff1a;

项目3——支持向量机调参

本节介绍用交叉验证方法选择模型最优参数&＃xff0c;首先下载数据集&＃xff1a;

图形如下&＃xff1a;

使用交叉验证方法选择最优参数&＃xff0c;代码如下&＃xff1a;

选择最优参数的模型&＃xff08;C&＃61;1&＃xff0c;sigma&＃61;0.1&＃xff09;来预测和画出分类边界&＃xff1a;

结果图&＃xff1a;

项目4——用SVM进行垃圾邮件分类

下载数据&＃xff0c;并用线性核进行分类&＃xff0c;得到训练准确率和测试准确率。

代码如下&＃xff1a;

得到训练准确率和测试准确率的结果分别为&＃xff1a;99.8%和98.9%。

3.小结

本文介绍了最大间隔分类器的原理&＃xff0c;若遇到非线性边界数据的分类任务&＃xff0c;则需要用支持向量机去构建模型。文章通过四个小项目解释线性核SVM&＃xff0c;高斯核SVM&＃xff0c;正则化参数C的作用以及如何用交叉验证方法选择模型的最优参数。

数据和代码获取方法&＃xff1a;扫码下面的二维码&＃xff0c;公众号后台回复“ svm" &＃xff0c;即可获取数据和代码。