机器学习西瓜书、南瓜书第三章

第三章 线性模型

3.1基本形式

w直观表达了各属性在预测中的重要性，线性模型有很好的可解释性。（可解释性也称可理解性）

3.2线性回归

考虑的情形是：输入属性的数目只有一个

属性间存在“序”关系，身高高矮{1.0,0.0}，高中低{1.0,0.5,0.0}

不存在序关系，属性有K属性值，,k维向量，eg：瓜类取值西瓜南瓜黄瓜转化为（0,0,1),(0,1,0),(1,0,0)

闭式解：解析解，是指通过严格的公式所求得的解。即包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。给出解的具体函数形式，从解的表达式中就可以算出任何对应值。用来求得解析解的方法称为解析法，解析法是常见的微积分技巧，如分离变量法等。解析解为一封闭形式的函数，因此对任一独立变量，皆可将其代入解析函数求得正确的相依变量。因此，解析解也称为闭式解。

此处的数据集D，样本由d个属性描述，引出多元线性回归

常见做法引入正则化项

考虑单调可微函数引出广义线性模型

3.3对数几率回归

补充：最主要的：对数函数是凸函数，也就是任意阶可导，这样就非常方便寻找最优解。

3.4线性判别分析

3.5多分类学习