3.10机器学习复习

01&＃xff1a;机器学习概念&＃xff1a;有监督&＃xff08;带答案&＃xff09;&＃xff0c;无监督&＃xff08;无答案数据&＃xff09;


02分类问题&＃xff1a;什么数据分什么

机器学习三要素&＃xff1a;模型&＃xff0c;策略&＃xff0c;算法
模型&＃xff1a;knn kmeans
策略:评价标准损失函数&＃xff08;01损失&＃xff0c;平方损失&＃xff0c;绝对损失&＃xff0c;对数损失{交叉熵}&＃xff09;&＃xff09;

逻辑回归&＃xff1a;对数损失&＃xff08;交叉熵损失函数&＃xff09;

损失里包含两种损失风险&＃xff0c;经验风险和结构风险&＃xff0c;也有理解为惩罚的 J 有两种方法l1和l2 ( LASSO和 RIDGE)?

线性回归 ridge梯度下降&＃xff0c; LASSO坐标上升

mini batch

梯度下降三种方式&＃xff1a;

批量&＃xff0c;小批量&＃xff0c;随机

归一化&＃xff0c;减少量纲影响&＃xff0c;减少随机震荡下降

凸函数有最优解

3种方法求解&＃xff1a;1定义2一阶判断&＃xff0c;3 二阶判断

以下公式记住特性

凸优化

鞍点问题

以上以线性回归举例

gbdt 不是用梯度下降法求解的
树模型 不用梯度下降法求解
mse 均方误差
(hx-y)^2

正则化 l1 l2正则 防止过拟合
过拟合 &＃xff1a;训练集表现好&＃xff0c;测试集差


l1 l2正则表达式

逻辑回归 实际上是分类

公式推导

求最大值

极大似然公式推导

信息熵概念

交叉熵&＃xff1a;真实分布乘以预测

交叉熵越小越

决策树 3种

决策树的损失函数

模型区别

xgboost