（三）支持向量机SVM（原理）

SVM是二分类模型&＃xff0c;将实例的特征向量映射为空间中的一些点&＃xff0c;SVM 的目的就是想要画出一条线&＃xff0c;以 “最好地” 区分这两类点。

样本点到直线的距离推导

 对数据变换&＃xff0c;使得

 是第i个样本的标签

 我们想使得最近的点的最大距离最小

 那么

转化成求W的极小值

 利用拉格朗日求解条件约束下的极值&＃xff0c;首先进行式子转换

(拉格朗日变换)

其中为与w和b有关系的变量

 由KKT对称性&＃xff0c;转换为先求极小值 

分别求偏导&＃xff0c;得出的关系

 带入原式&＃xff0c;完成第一步极小值求解

 对式子加符号&＃xff0c;使得下一步求解的极大值转化为求极小值

 下一步把数据点带入约束条件和式子&＃xff0c;然后对变量求偏导&＃61;0&＃xff0c;得出&＃xff0c;如果有不满足约束条件的&＃xff0c;带入约束条件边界重试直到全部符合条件

注意&＃xff1a;只有边界点的有意义&＃xff0c;非边界点的均为0

软间隔优化

引入了松弛因子

 将松弛因子加入目标函数作为正则化惩罚项&＃xff0c;C是超参&＃xff0c;越大表示分类越严格

核函数变换

就是之前提到的&＃xff0c;将数据从低维映射到高维