逻辑斯蒂回归_机器学习：线性学习之逻辑斯蒂回归

笔记之前的内容都是在讲解如何利用线性模型进行回归学习&＃xff0c;完成回归任务&＃xff0c;而这次的笔记要记录的则是如何去做分类任务。

首先考虑的是二分类任务&＃xff0c;其输出标记y∈{0,1}&＃xff0c;但线性回归模型产生的预测值z&＃61;w^t·x&＃43;b是实值&＃xff0c;因此需要将实值z转换为0/1值。最容易想到的联系函数g(·)自然为阶跃函数。

但单位阶跃函数不连续&＃xff0c;因此不能直接作为联系函数g(·)。于是逻辑斯蒂函数作为替代函数就登场了&＃xff0c;它在一定程度上近似单位阶跃函数&＃xff0c;并且在临界点连续且单调可微。

逻辑斯蒂函数近似s&＃xff0c;它将z值转化为一个接近0或1的y值&＃xff0c;并且其输出值在z&＃61;0附件变化很陡。其对应的模型称为逻辑斯蒂回归&＃xff0c;虽然它的名字是“回归”&＃xff0c;但实际上却是一种分类学习方法。

逻辑斯蒂回归有很多优点&＃xff1a;1)可以直接对分类无能性进行预测&＃xff0c;将y视为样本x作为正例的概率&＃xff1b;2)无需事先假设数据分布&＃xff0c;这样就避免了假设分布不准确所带来的问题&＃xff1b;3)是任意阶可导的凸函数&＃xff0c;可直接应用现有数值优化算法求取最优解。

将y视为样本x属于正例的概率p{y&＃61;1|x}&＃xff0c;根据逻辑斯蒂函数很容易得到&＃xff1a;

逻辑斯蒂回归只能求解连续属性值问题&＃xff0c;不能求解离散属性值问题&＃xff0c;对于离散属性值得处理&＃xff1a;

√ 若属性值之间存在着“序”关系&＃xff1a;通过连续化将其转化为连续值

√ 若属性值之间不存在着“序”关系&＃xff1a;通常可将K个属性值转换为K维向量