《统计学习方法》第一章：基础概念与理论框架综述

第一章

1.2节
模型有两种&＃xff0c;一种是直接输出数值&＃xff0c;另一种是输出概率。
条件概率分布是一个x对应好多y&＃xff0c;得到的是一个y的分布
输出数值是一个x输出一个y

1.3节
统计机器学习三要素

模型
模型集合&＃xff1a;假设空间
决策函数对应的是参数&＃xff0c;概率分布对应的是y的分布

策略
策略就是损失函数的设计&＃xff0c;怎么样从假设空间当中选取最合适的模型。
0/1损失函数&＃xff1a;常用语分类问题
平方损失&＃xff1a;回归问题
绝对值损失 &＃xff1a;取绝对值
二者区别&＃xff1a;平方损失对于差值更大惩罚力度更强&＃xff0c;差值更小的惩罚力度更小。灵敏度更高
对数似然损失&＃xff1a;针对于条件概率模型。P是似然函数&＃xff08;近似函数&＃xff09;&＃xff0c;log是对数函数

正则项&＃xff1a;关于f的函数&＃xff0c;没有给具体的形式&＃xff0c;表示的是f函数的复杂度&＃xff0c;平衡了训练稽上的经验风险和模型复杂度。我们更倾向于找到模型复杂度低&＃xff0c;经验风险小的模型&＃xff0c;。λ是模型复杂度重要程度

1.4节
过拟合
M是多项式最高的指数&＃xff0c;使用的是平方损失。最后一个是9次方
两个点可以有x^1直线连接&＃xff0c;三个点可以由 x ^ 2 连接…9次方一定可以连接10点穿起来&＃xff0c;但是波动大。过拟合问题。泛化能力差&＃xff0c;对噪声敏感。

1.5节 模型选择的两个方法
经验风险&＃43;正则项
交叉验证&＃xff1a;把训练集合再进行切分 &＃61; 训练&＃43;验证

1.6 泛化能力
表示一个魔性的误差上界