梯度下降算法_用人话讲明白梯度下降GradientDescent

文章目录

1.梯度

2.多元线性回归参数求解

3.梯度下降

4.梯度下降法求解多元线性回归

梯度下降算法在机器学习中出现频率特别高&＃xff0c;是非常常用的优化算法。

本文借多元线性回归&＃xff0c;用人话解释清楚梯度下降的原理和步骤。

1.梯度

梯度是什么呢&＃xff1f;

我们还是从最简单的情况说起&＃xff0c;对于一元函数来讲&＃xff0c;梯度就是函数的导数。

而对于多元函数而言&＃xff0c;梯度是一个向量&＃xff0c;也就是说&＃xff0c;把求得的偏导数以向量的形式写出来&＃xff0c;就是梯度。

例如&＃xff0c;我们在用人话讲明白线性回归LinearRegression一文中&＃xff0c;求未知参数β0 和β1 时&＃xff0c;对损失函数求偏导&＃xff0c;此时的梯度向量为&＃xff1a;

其中&＃xff1a;

那篇文章中&＃xff0c;因为一元线性回归中只有2个参数&＃xff0c;因此令两个偏导数为0&＃xff0c;能很容易求得β0 和β1 的解。

但是&＃xff0c;这种求导的方法在多元回归的参数求解中就不太实用了&＃xff0c;为什么呢&＃xff1f;

2.多元线性回归参数求解

多元线性回归方程的一般形式为&＃xff1a;

可以简写为矩阵形式(一般加粗表示矩阵或向量)&＃xff1a;

其中&＃xff0c;

之前我们介绍过一元线性回归的损失函数可以用残差平方和&＃xff1a;

代入多元线性回归方程就是&＃xff1a;

用矩阵形式表示&＃xff1a;

上面的展开过程涉及矩阵转置&＃xff0c;这里简单提一下矩阵转置相关运算&＃xff0c;以免之前学过但是现在忘了&＃xff1a;

好了&＃xff0c;按照一元线性回归求解析解的思路&＃xff0c;现在我们要对Q求导并令导数为0(原谅我懒&＃xff0c;后面写公式就不对向量或矩阵加粗了&＃xff0c;大家能理解就行)&＃xff1a;

上面的推导过程涉及矩阵求导&＃xff0c;这里展开讲下&＃xff0c;为什么

其他几项留给大家举一反三。

首先&＃xff1a;

为了直观点&＃xff0c;我们将YTX 记为A&＃xff0c;因为Y是n维列向量&＃xff0c;X是n×(p&＃43;1)的矩阵&＃xff0c;因此YTX是(p&＃43;1)维行向量&＃xff1a;

那么上面求导可以简写为&＃xff1a;

这种形式的矩阵求导属于分母布局&＃xff0c;即分子为行向量或者分母为列向量(这里属于后者)。

搞不清楚的可以看看这篇&＃xff1a;矩阵求导实例&＃xff0c;这里我直接写出标量/列向量求导的公式&＃xff0c;如下(y表示标量&＃xff0c;X表示列向量)&＃xff1a;

根据上式&＃xff0c;显然有&＃xff1a;

前面我们将YTX记为A&＃xff0c;那么上面算出来的结果就是AT &＃xff0c;即

说了这么多有的没的&＃xff0c;最终我想说是的

里面涉及到矩阵求逆&＃xff0c;但实际问题中可能X没有逆矩阵&＃xff0c;这时计算的结果就不够精确。

第二个问题就是&＃xff0c;如果维度多、样本多&＃xff0c;即便有逆矩阵&＃xff0c;计算机求解的速度也会很慢。

所以&＃xff0c;基于上面这两点&＃xff0c;一般情况下我们不会用解析解求解法求多元线性回归参数&＃xff0c;而是采用梯度下降法&＃xff0c;它的计算代价相对更低。

3.梯度下降

好了&＃xff0c;重点来了&＃xff0c;本文真正要讲的东西终于登场了。

梯度下降&＃xff0c;就是通过一步步迭代&＃xff0c;让所有偏导函数都下降到最低。如果觉得不好理解&＃xff0c;我们就还是以最简单的一元函数为例开始讲。

下图是我用Excel简单画的二次函数图像(看起来有点歪&＃xff0c;原谅我懒……懒得调整了……)&＃xff0c;函数为

y&＃61;x^2 &＃xff0c;它的导数为y&＃61;2x。

如果我们初始化的点在x&＃61;1处&＃xff0c;它的导函数值&＃xff0c;也就是梯度值是2&＃xff0c;为正&＃xff0c;那就让它往左移一点&＃xff0c;继续计算它的梯度值&＃xff0c;若为正&＃xff0c;就继续往左移。

如果我们初始化的点在x&＃61;-1处&＃xff0c;该处的梯度值是-2&＃xff0c;为负&＃xff0c;那就让它往右移。

多元函数的逻辑也一样&＃xff0c;先初始化一个点&＃xff0c;也就是随便选择一个位置&＃xff0c;计算它的梯度&＃xff0c;然后往梯度相反的方向&＃xff0c;每次移动一点点&＃xff0c;直到达到停止条件。

这个停止条件&＃xff0c;可以是足够大的迭代步数&＃xff0c;也可以是一个比较小的阈值&＃xff0c;当两次迭代之间的差值小于该阈值时&＃xff0c;认为梯度已经下降到最低点附近了。

二元函数的梯度下降示例如上图(图片来自梯度下降)&＃xff0c;对于这种非凸函数&＃xff0c;可能会出现这种情况&＃xff1a;初始化的点不同&＃xff0c;最后的结果也不同&＃xff0c;也就是陷入局部最小值。

这种问题比较有效的解决方法&＃xff0c;就是多取几个初始点。不过对于我们接下来讲的多元线性回归&＃xff0c;以及后面要讲的逻辑回归&＃xff0c;都不存在这个问题&＃xff0c;因为他们的损失函数都是凸函数&＃xff0c;有全局最小值。

用数学公式来描述梯度下降的步骤&＃xff0c;就是&＃xff1a;

解释下公式含义&＃xff1a;

• θk 为k时刻的点坐标&＃xff0c;θk&＃43;1 为下一刻要移动到的点的坐标&＃xff0c;例如 θ0就代表初始化的点坐标&＃xff0c; θ1就代表第一步到移动到的位置&＃xff1b;
• g代表梯度&＃xff0c;前面有个负号&＃xff0c;就代表梯度下降&＃xff0c;即朝着梯度相反的反向移动&＃xff1b;
• α 被称为步长&＃xff0c;用它乘以梯度值来控制每次移动的距离&＃xff0c;这个值的设定也是一门学问&＃xff0c;设定的过小&＃xff0c;迭代的次数就会过多&＃xff0c;设定的过大&＃xff0c;容易一步跨太远&＃xff0c;直接跳过了最小值。

4.梯度下降法求解多元线性回归

回到前面的多元线性回归&＃xff0c;我们用梯度下降算法求损失函数的最小值。

首先&＃xff0c;求梯度&＃xff0c;也就是前面我们已经给出的求偏导的公式&＃xff1a;

将梯度代入随机梯度下降公式&＃xff1a;

这个式子中&＃xff0c;X矩阵和Y向量都是已知的&＃xff0c;步长是人为设定的一个值&＃xff0c;只有参数β是未知的&＃xff0c;而每一步的

θ 是由β 决定的&＃xff0c;也就是每一步的点坐标。

算法过程&＃xff1a;

1. 初始化β 向量的值&＃xff0c;即θ0 &＃xff0c;将其代入导函数得到当前位置的梯度&＃xff1b;

2. 用步长α 乘以当前梯度&＃xff0c;得到从当前位置下降的距离&＃xff1b;

3. 更新θ1&＃xff0c;其更新表达式为

4. 重复以上步骤&＃xff0c;直到更新到某个θk&＃xff0c;达到停止条件&＃xff0c;这个θk就是我们求解的参数向量。

参考链接&＃xff1a;

深入浅出--梯度下降法及其实现

梯度下降与随机梯度下降概念及推导过程