机器学习——Logisitc回归

一.Logistic回归概述&＃xff1a;

假设现在有一些数据点&＃xff0c;我们用一条直线对这些点进行拟合&＃xff08;该线称为最佳拟合直线&＃xff09;&＃xff0c;这个拟合过程就称为回归。利用Logistic回归进行分类的主要思想是&＃xff1a;根据现有数据对分类边界线建立回归公式&＃xff0c;以此进行分类。

二,Logistic的优缺点&＃xff1a;

优点&＃xff1a;计算代价不高&＃xff0c;易于理解和实现

缺点&＃xff1a;容易欠拟合&＃xff0c;分类精度可能不高

适用数据类型&＃xff1a;数值型和标称型数据

三.Logistic里面的梯度上升法伪代码&＃xff1a;

梯度上升法的伪代码&＃xff1a;

所有回归系数初始化为1

重复R次&＃xff1a;

****计算整个数据集的梯度

****适用alpha*gradient更新回归系数的向量

返回回归系数

随机梯度上升法的伪代码&＃xff08;一种改进方法是一次使用一个样本点来更新回归系数&＃xff09;&＃xff1a;

所有回归系数初始化为1

对数据集中每个样本

****计算该样本的梯度

****使用alpha*gradient更新回归系数值

返回回归系数值

注意&＃xff1a;这种随机上升梯度法会由于一些不能正确分类的数据而导致回归系数在迭代的过程中出现局部波动现象&＃xff0c;为了减少这种现象的发生&＃xff0c;可以通过随机选取样本来更新回归系数。

四.利用到的一些公式&＃xff1a;

可以参见我转载的一篇梯度下降法&＃xff1a;http://blog.csdn.net/u013289254/article/details/63685512。