作者:走过滴岁月688 | 来源:互联网 | 2023-09-25 16:32
SVM处理非线性:让非线性可分也有解改造方式如果训练样本不是线性可分的,就找不出w和b满足下面这个式子,所以引入了松弛变量引入了松弛变量使得上面这个限制条件可以成立最小化w的
SVM处理非线性:让非线性可分也有解
改造方式
如果训练样本不是线性可分的,就找不出w和b满足下面这个式子,
所以引入了松弛变量
引入了松弛变量使得上面这个限制条件可以成立
最小化w的模是为了最大化d,
但是又不能让kesai i 太大,太大的话优化问题会过于发散,上面这个式子就是为了限制kesai i不会 太大,相当于把所有的kesai i求和,加了一个系数C,换句话说,C有两个任务,1是最小化w的模,第二个任务是让每一个kesai i都比较小
加了上面的限制条件,对于所有的非线性可分的情况,我们都能求出w,b,kesai i
分清已知量和未知量
xi,yi是已知量w,b,kesai i是未知量
这个叫正则项,是为了让目标函数规范化
这就是一个目标函数
在非线性可分的情况下,优化任务是没有解的,要让没有解的状况变成有解的,就需要加上正则项
其他情况:目标函数以及优化问题有解,但是不是我们想要的解,也需要加正则项(Regulation Term)
C是一个事先设定的参数,用来平衡①,②两个部分在目标函数中的比重
我们一般会给C一个取值范围,比如根据经验在(-15,15)之间,每隔一个间隔取一个值,看试出来哪一个值效果更好
在学习过程中,有一些限制性的参数我们需要不断地尝试,根据不同的任务,优化参数的取值
在SVM中,需要事先设定的参数不多,神经网络就比较多了
机器学习——支持向量机SVM之非线性模型(低维到高维映射)