NLP入门｜《统计学习方法》学习（二）｜感知机模型梯度下降法

学习《统计学习方法》第二版的第二章&＃xff0c;mark其中一些重要的部分。
声明&＃xff1a;以下截图来自书本以及b站课程&＃xff08;up主&＃xff1a;简博士&＃xff09;。

一、感知机

第二章的主要内容是感知机算法。感知机是一种线性分类模型&＃xff0c;属于判别模型。其目标是通过训练得到包含w和b两个参数的感知机模型&＃xff0c;然后对于新的实例进行预测&＃xff0c;从而得到其类别。

定义及函数表示&＃xff1a;

几何含义&＃xff1a;

注&＃xff1a;1&＃xff09;w是法向量&＃xff1b;
2&＃xff09;特征空间为n维&＃xff0c;则超平面为n-1维。

二、条件

1. 数据集的线性可分性

能够将数据集完全划分到正类和负类。

2. 损失函数

3. 算法收敛性

经过有限次迭代可以得到一个将训练数据集完全划分的分离超平面及感知机模型。

Novikoff定理&＃xff1a;

但如果想要分割得到唯一的超平面&＃xff0c;则需要增加约束条件&＃xff0c;这也是算法的依赖性。

三、梯度下降法

1. 梯度&＃xff1a;

梯度是某一函数在该点处最大的方向导数&＃xff0c;沿着该方向可取得最大的变化率。
若函数是凸函数&＃xff0c;则可以通过梯度下降法进行优化。

2. 算法&＃xff1a;

2.1 批量梯度下降法&＃xff1a;

每次迭代时使用所有误分类点来进行参数更新。

2.2 随机梯度下降法&＃xff1a;

每次随机选取一个误分类点。【速度相对较快】

1. 原始形式

假设初始模型为下图右侧的蓝色线&＃xff0c;则存在两个误分类点&＃xff08;分别&＃61;0和<0&＃xff09;。
最后得到的可能是黄色线&＃xff0c;也可能是黑色线&＃xff0c;由此可以看出感知机模型得到的超平面不唯一。

2. 对偶形式