机器学习笔记【一】

过拟合和欠拟合&＃xff1a;
1、欠拟合
欠拟合是指模型不能在训练集上获得足够低的误差。换句换说&＃xff0c;就是模型复杂度低&＃xff0c;模型在训练集上就表现很差&＃xff0c;没法学习到数据背后的规律。
欠拟合基本上都会发生在训练刚开始的时候。可以通过增加网络复杂度、增加特征、增加数据&＃xff0c;这些都是很好解决欠拟合的方法。
2、过拟合
过拟合是指训练误差和测试误差之间的差距太大。换句换说&＃xff0c;就是模型复杂度高于实际问题&＃xff0c;模型在训练集上表现很好&＃xff0c;但在测试集上却表现很差。或者称为泛化能力差。
造成原因主要有以下几种&＃xff1a;
1、训练数据集样本单一&＃xff0c;样本不足。 如果训练样本只有负样本&＃xff0c;然后那生成的模型去预测正样本&＃xff0c;这肯定预测不准。所以训练样本要尽可能的全面&＃xff0c;覆盖所有的数据类型。
2、训练数据中噪声干扰过大。 噪声指训练数据中的干扰数据。过多的干扰会导致记录了很多噪声特征&＃xff0c;忽略了真实输入和输出之间的关系。
3、模型过于复杂。 模型太复杂&＃xff0c;已经能够“死记硬背”记下了训练数据的信息&＃xff0c;但是遇到没有见过的数据的时候不能够变通&＃xff0c;泛化能力太差。我们希望模型对不同的模型都有稳定的输出。模型太复杂是过拟合的重要因素。
采用正则化预防过拟合。 正则化是指修改学习算法&＃xff0c;使其降低泛化误差而非训练误差。常用的正则化方法根据具体的使用策略不同可分为&＃xff1a;
&＃xff08;1&＃xff09;直接提供正则化约束的参数正则化方法&＃xff0c;如 L1/L2正则化&＃xff08;L1正则化&＃xff1a;全部权重 w的绝对值的和&＃xff1b;L1正则项会产生稀疏解。L2正则化&＃xff1a;全部权重w的平方和&＃xff1b; L2正则项会产生比较小的解&＃xff09;&＃xff1b;
&＃xff08;2&＃xff09;通过工程上的技巧来实现更低泛化误差的方法&＃xff0c;如提前终止(Early stopping)和 Dropout。
Dropout 指的是在训练过程中每次按一定的概率&＃xff08;比如50%&＃xff09;随机地“删除”一部分隐藏单元&＃xff08;神经元&＃xff09;。
Dropout平衡训练和测试时的差异&＃xff1a;在训练时&＃xff0c;失活概率为p&＃xff0c;那么输出数据 将除以&＃xff08;1-p&＃xff09;作为神经元失活的补偿。如果训练时没有进行缩放&＃xff0c;那么测试阶段每个神经元参数权重 需要乘以概率p&＃xff09;
为什么Dropout可以防止过拟合&＃xff1a;&＃xff08;主要原因&＃xff09;dropout掉不同的隐藏神经元就类似在训练不同的网络&＃xff0c;随机删掉一半隐藏神经元导致网络结构已经不同&＃xff0c;整个dropout过程就相当于对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合&＃xff0c;一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。
&＃xff08;3&＃xff09;不直接提供约束的隐式正则化方法&＃xff0c;如 数据增强等。

决策树属性选择方法区别&＃xff1a;
ID3&＃xff1a;根据“最大信息增益”原则选择划分当前数据集最好的特征&＃xff0c;按照特征的所有取值进行划分。一旦按照某种特征进行切分后&＃xff0c;该特征在之后的计算中就不再起作用。
C4.5&＃xff1a;ID3的划分原则有个缺点&＃xff0c;它一般会选择属性值较多的特征&＃xff0c;C4.5使用“信息增益率”来作为特征切分的准则&＃xff0c;同时C4.5还弥补了ID3不能处理特征属性值连续的问题。在信息增益大于平均水平的基础上&＃xff0c;选择增益率最大的属性。
CART&＃xff1a;它是一棵树&＃xff0c;采用二元切分法将数据切成两份分别进入左子树和右子树&＃xff0c;采用Gini系数作为切分标准&＃xff0c;主要反映切分后数据的不纯度。回归树采用方差缩减作为切分标准。

分类和回归的区别&＃xff1a;
回归问题通常是用来预测一个值&＃xff0c;如预测房价、未来的天气情况等等&＃xff0c;例如一个产品的实际价格为500元&＃xff0c;通过回归分析预测值为499元&＃xff0c;我们认为这是一个比较好的回归分析。一个比较常见的回归算法是线性回归算法&＃xff08;LR&＃xff09;。另外&＃xff0c;回归分析用在神经网络上&＃xff0c;其最上层是不需要加上softmax函数的&＃xff0c;而是直接对前一层累加即可。回归是对真实值的一种逼近预测。

分类问题是用于将事物打上一个标签&＃xff0c;通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗&＃xff0c;分类通常是建立在回归之上&＃xff0c;分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念&＃xff0c;最终正确结果只有一个&＃xff0c;错误的就是错误的&＃xff0c;不会有相近的概念。最常见的分类方法是逻辑回归&＃xff08;使用的函数是sigmoid&＃xff09;&＃xff0c;或者叫逻辑分类。
回归的方法可以做分类&＃xff0c;反之不行&＃xff01;

分类和回归的区别在于输出变量的类型。
定量输出称为 回归&＃xff0c;或者说是 连续变量预测&＃xff1b;
定性输出称为 分类&＃xff0c;或者说是 离散变量预测。

生成方法与判别方法区别&＃xff1a;
生成方法&＃xff1a;由数据学习联合概率分布P(X,Y)&＃xff0c;然后求出条件概率分布P(Y|X)作为预测的模型即生成模型。典型的生成模型有朴素贝叶斯和隐马尔可夫模型。

判别方法&＃xff1a;由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测模型即判别模型。判别方法关心的事对给定的输入X应该预测什么样的输出Y。典型的判别模型包括&＃xff1a;kNN&＃xff0c;感知机&＃xff0c;决策树&＃xff0c;LR&＃xff0c;最大熵模型&＃xff0c;支持向量机&＃xff0c;提升方法和条件随机场等。

在监督学习中&＃xff0c;生成方法和判别方法各有优缺点&＃xff1a;生成方法可以还原联合概率分布&＃xff0c;判别方法不能&＃xff1b;生成方法收敛速度快&＃xff1b;生成方法可以学习存在隐变量的模型&＃xff0c;判别方法就不能用&＃xff1b;判别方法学习的准确率更高且可以简化学习问题。

正负样本不平衡时&＃xff1a;
1.过采样
&＃xff08;1&＃xff09;过采样方法通过增加少数类样本来提高少数类的分类性能&＃xff0c;最简单的办法是简单复制少数类样本&＃xff0c;缺点是可能导致过拟合&＃xff0c; 没有给少数类增加任何新的信息。
&＃xff08;2&＃xff09;SMOTE算法&＃xff1a;设置向上采样的倍率为N&＃xff0c;即对每个少数类样本都需要产生对应的N个少数类新样本&＃xff1b;对少数类中的每一个样本x&＃xff0c;搜索得到其k&＃xff08;通常取5&＃xff09;个少数类最近邻样本&＃xff0c;并从中随机选择N个样本&＃xff0c;记为y1,y2,…,yN&＃xff08;可能有重复值&＃xff09;&＃xff1b;构造新的少数类样本rj&＃61;x&＃43;rand(0,1)∗(yj−x)&＃xff0c;其中rand(0,1)表示区间(0,1)内的随机数。

2.欠采样
欠采样方法通过减少多数类样本来提高少数类的分类性能&＃xff0c;最简单的方法是通过随机地去掉一些多数类样本 来减小多数类的规模&＃xff0c;缺点是会丢失多数类的一些重要信息&＃xff0c;不能够充分利用已有的信息。

3.代价敏感方法
&＃xff08;1&＃xff09;重构训练集的方法。不改变已有算法&＃xff0c;而是根据样本的不同错分代价给训练集中的每一个样本赋一个权值&＃xff0c;接着按权重对原始样本集进行重构。
&＃xff08;2&＃xff09;引入代价敏感因子&＃xff0c;设计出代价敏感的分类算法。通常对小样本赋予较高的代价&＃xff0c;大样本赋予较小的代价&＃xff0c;期望以此来平衡样本之间的数目差异。

主成分分析PCA&＃xff1a;
PCA降维的目标就是&＃xff1a;找到一种投影方式&＃xff0c;将原来的M维样本y 变成 D维样本x&＃xff0c;并且使得投影之后的D维样本x&＃xff0c;能够尽可能多地保存原来的样本y中的信息。
https://www.cnblogs.com/hapjin/p/6728697.html

支持向量机&＃xff1a;
须记&＃xff1a;原公式、利用拉格朗日乘字、对偶公式、KTT条件

线性回归公式推导&＃xff1a;
需要的矩阵求导公式