热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

知识点汇总_SVM知识点汇总

目录1. 简单描述SVM(线性可分SVM的求解)2. 线性SVM3. 非线性SVM

目录

1. 简单描述SVM(线性可分SVM的求解)

2. 线性SVM

3. 非线性SVM

 

 

1. 简单描述SVM

SVM是一个分类算法,通过寻找一个分离超平面,将正负样本分开,并且正负样本到超平面的间隔最大。分离超平面可以用y = wx + b来描述,样本到超平面的相对距离可以用函数间隔r = | wx + b |描述。当y+ = 1, y - = -1时,r = | wx + b | = y( wx + b )。但由于当w,b成比例变化时,超平面不变,但样本到超平面的距离会发生改变,因此改用几何间隔r‘ = y( wx + b)/ ||w||。整个模型可表示如下图:

技术分享

约束最优化问题,利用拉格朗日对偶性将其转化为对偶问题进行求解。拉格朗日对偶性的求解形式如下:

技术分享

对照写出SVM问题的拉格朗日函数:

技术分享

原始问题是极小极大问题,将其转换为对偶问题求解,并且只有当问题满足KKT条件时,可将对偶问题的解作为原始问题的解。

技术分享

于是SVM问题就变为:

技术分享

关于拉格朗日算子α的约束优化问题的求解:SMO算法(序列最小最优化)

2. 线性SVM

当样本无法被超平面完全分开时,引入松弛变量,使得不可分的部分样本能被超平面分开。但当松弛变量过大时,SVM分类模型就失去意义了,因此对松弛变量进行惩罚。

技术分享

这样的线性SVM等价于以下最优化问题:

技术分享

可以看到等价的这个目标函数是由合页损失函数和正则化项组成的。这种自带正则化项的特性,使得SVM有较好的泛化能力。

实际上大部分问题都不是线性可分问题,同时这样的做法也可以避免线性可分SVM受异常点影响较大的问题。

 


推荐阅读
author-avatar
圣友家具简章da
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有