[机器学习入门] 李宏毅机器学习笔记-23（Support Vector Machine；支持向量机）

Support Vector Machine

Outline

Hinge Loss

Binary Classification

分为三步。
δ不可微分，所以变化一下。

step 2 ：Loss function

红色这条线就是Square Loss的表现，与黑色的理想loss曲线比较，当x很大是，将会取得很大的值，这是不合理的，既然如此，我们再试一下Square Loss+cross entropy。

蓝色这条线就是Sigmoid+Square loss，但是实际上，Square的performance并不好，用cross entropy更合理，就是绿色那条线，当横坐标趋近无穷大时，趋近于0，如果负无穷，则会无穷大。比较一下蓝绿两条线，如果我们横坐标，从-2移到-1，绿色这条线变化很大，蓝色反之，造成的效果就是，横坐标非常negative时，绿色调整参数可以取得较好的回报，所以它很乐意把negative的值变大，而蓝色反之，很懒惰。

而Hinge Loss为紫色线表示。

如果比较紫绿两条线，它们最大的不同就是对待做得好的example的态度，如果把横坐标从1挪到2，对绿色来说它会有动机把横坐标变得更大，而紫色对此的态度是及格就好，不会再努力变大。

Linear SVM

Compared with logistic regression, linear SVMhas different loss function

Linear SVM – gradient descent

SVM通常不用gradient descent做，但也是可以做的。

Linear SVM – another formulation

Kernel Method

Dual Representation

我们只需要能算出K（x，z）就可以了，这就是Kernel Trick。

Kernel Trick

Radial Basis Function Kernel

衡量x与z的相似度，在无穷多维上去做事情

Sigmoid Kernel

SVM related methods

* Support Vector Regression (SVR)
   [Bishop chapter 7.1.4]
* Ranking SVM
   [Alpaydin, Chapter 13.11]
* One-class SVM
   [Alpaydin, Chapter 13.11]

SVM vs Deep Learning