SVM是二分类模型,将实例的特征向量映射为空间中的一些点,SVM 的目的就是想要画出一条线,以 “最好地” 区分这两类点。

样本点到直线的距离推导

对数据变换,使得
是第i个样本的标签

我们想使得最近的点的最大距离最小

那么

转化成求W的极小值

利用拉格朗日求解条件约束下的极值,首先进行式子转换
(拉格朗日变换)

其中
为与w和b有关系的变量

由KKT对称性,转换为先求极小值

分别求偏导,得出
的关系

带入原式,完成第一步极小值求解

对式子加符号,使得下一步求解的极大值转化为求极小值

下一步把数据点带入约束条件和式子,然后对变量求偏导=0,得出
,如果有不满足约束条件的,带入约束条件边界重试直到全部符合条件
注意:只有边界点的
有意义,非边界点的
均为0

软间隔优化
引入了松弛因子

将松弛因子加入目标函数作为正则化惩罚项,C是超参,越大表示分类越严格
核函数变换
就是之前提到的
,将数据从低维映射到高维
