支持向量机（SVM）、支持向量回归（SVR）

支持向量机方法的基本思想&＃xff1a;

&＃xff08; 1 &＃xff09;它是专门针对有限样本情况的学习机器&＃xff0c;实现的是结构风险最小化&＃xff1a;在对给定的数据逼近的精度与逼近函数的复杂性之间寻求折衷&＃xff0c;以期获得最好的推广能力&＃xff1b;

&＃xff08; 2 &＃xff09;它最终解决的是一个凸二次规划问题&＃xff0c;从理论上说&＃xff0c;得到的将是全局最优解&＃xff0c;解决了在神经网络方法中无法避免的局部极值问题&＃xff1b;

&＃xff08; 3 &＃xff09;它将实际问题通过非线性变换转换到高维的特征空间&＃xff0c;在高维空间中构造线性决策函数来实现原空间中的非线性决策函数&＃xff0c;巧妙地解决了维数问题&＃xff0c;并保证了有较好的推广能力&＃xff0c;而且算法复杂度与样本维数无关。

目前&＃xff0c; SVM 算法在模式识别、回归估计、概率密度函数估计等方面都有应用&＃xff0c;且算法在效率与精度上已经超过传统的学习算法或与之不相上下。  

       对于经验风险R&＃xff0c;可以采用不同的损失函数来描述&＃xff0c;如e不敏感函数、Quadratic函数、Huber函数、Laplace函数等。

      核函数一般有多项式核、高斯径向基核、指数径向基核、多隐层感知核、傅立叶级数核、样条核、 B 样条核等&＃xff0c;虽然一些实验表明在分类中不同的核函数能够产生几乎同样的结果&＃xff0c;但在回归中&＃xff0c;不同的核函数往往对拟合结果有较大的影响

2、支持向量回归算法

主要是通过升维后&＃xff0c;在高维空间中构造线性决策函数来实现线性回归&＃xff0c;用e不敏感函数时&＃xff0c;其基础主要是 e 不敏感函数和核函数算法。

若将拟合的数学模型表达多维空间的某一曲线&＃xff0c;则根据e 不敏感函数所得的结果&＃xff0c;就是包括该曲线和训练点的“ e管道”。在所有样本点中&＃xff0c;只有分布在“管壁”上的那一部分样本点决定管道的位置。这一部分训练样本称为“支持向量”。为适应训练样本集的非线性&＃xff0c;传统的拟合方法通常是在线性方程后面加高阶项。此法诚然有效&＃xff0c;但由此增加的可调参数未免增加了过拟合的风险。支持向量回归算法采用核函数解决这一矛盾。用核函数代替线性方程中的线性项可以使原来的线性算法“非线性化”&＃xff0c;即能做非线性回归。与此同时&＃xff0c;引进核函数达到了“升维”的目的&＃xff0c;而增加的可调参数是过拟合依然能控制。