Logistic回归算法详细介绍

Logistic回归又称Logistic回归分析&＃xff0c;是一种广义的线性回归分析模型&＃xff0c;常用于数据挖掘&＃xff0c;疾病自动诊断&＃xff0c;经济预测等领域。

      Logistic回归模型中的因变量只有1-0(如是和否&＃xff0c;发生和不发生)两种取值。假设在p个独立自变量x1,x2,...,xp作用下&＃xff0c;记y取1的概率是p &＃61; P(y&＃61;1|X)&＃xff0c;取0的概率是1-p&＃xff0c;取1和0的概率之比为p/(1-p)&＃xff0c;称为事件的优势比(odds)&＃xff0c;对odds取自然对数得Logistic变换Logit&＃61;In(p/(1-p))。

      令Logit(p)&＃61;In(p/(1-p))&＃61;z &＃xff0c;则p&＃61;1/(1&＃43;exp(-z))即为Logistic函数&＃xff0c;或者称为Sigmoid函数。如图所示&＃xff1a;

      p是关于z的函数&＃xff0c;令g(z)&＃61;1/(1&＃43;exp(-z))&＃xff0c;则

      注意&＃xff0c;p是我们要求解的&＃xff0c;我们的终极目标&＃xff0c;那么z又是关于样本特征的函数&＃xff0c;即

构造预测函数为&＃xff1a;

      函数表示结果取1的概率&＃xff0c;因此对于输入样本x分类结果为类别1和类别0的概率分别为

      两个式子综合起来&＃xff0c;则

      取似然函数为&＃xff1a;

      翻译成人话就是&＃xff0c;我对于一个样本进行预测判别&＃xff0c;判断正确的概率为P&＃xff0c;那么我对所有样本m进行判断的概率是&＃xff0c;前面说过p是我们的求解目标&＃xff0c;而现在是对所有样本求解p的值&＃xff0c;累乘后的值到达最大&＃xff0c;值越大说明全局样本预测越准确。到这里&＃xff0c;我们应该清楚&＃xff0c;函数就是我们找到损失函数。接下来&＃xff0c;我会再进一步的优化函数。

      对损失函数取对数为&＃xff1a;

      最大似然估计就是要求取最大值是的&＃xff0c;其实这里可以用梯度上升法求解即可。但是我们习惯了梯度下降法&＃xff0c;故需要乘一个负的系数-1/m&＃xff0c;得到

      所以取最小值时的为要求的最佳参数。

      终于&＃xff0c;到我们强大的梯度下降法表演真正技术的时候了。

      根据梯度下降法可得的迭代更新过程&＃xff1a;

      其中为学习步长&＃xff0c;求偏导得到&＃xff1a;

      求偏导过程用到如下的公式&＃xff1a;

      脑补一下&＃xff0c;要看懂这个求偏导化简公式并不难&＃xff0c;你只要掌握偏导&＃xff0c;复合函数求导和链式法则的知识便可。

      因此&＃xff0c;参数的迭代更新过程又可以写成&＃xff1a;

      在式子中&＃xff0c;是常量&＃xff0c;1/m也是常量&＃xff0c;一般将1/m省略掉&＃xff0c;所以最终的参数迭代更新过程为&＃xff1a;

      接下来&＃xff0c;对参数的更新过程向量化&＃xff0c;在机器学习领域里&＃xff0c;我们要转变一种思维&＃xff0c;就是捆绑思维。我们处理的数据是一批一批的数据&＃xff0c;并非是一个一个的概念。所以这就是向量化的必要性。

      我们约定训练数据的矩阵形式如下&＃xff0c;x的每一行为一条训练样本&＃xff0c;而每一列为不同的特征取值&＃xff1a;

      约定待求的参数矩阵形式为&＃xff1a;

      先求并记为A&＃xff1a;

      求并记为E&＃xff1a;

      所以&＃xff0c;参数的迭代更新过程写成&＃xff1a;

      综合起来就是&＃xff1a;

      综上所述&＃xff0c;向量化后的的更新的步骤如下&＃xff1a;

&＃xff08;1&＃xff09;求

&＃xff08;2&＃xff09;求

&＃xff08;3&＃xff09;求