动手学深度学习——基础优化算法梯度下降，小批量随机梯度下降

一、梯度下降算法

• 挑选一个初始值w0&＃xff1b;
• 重复迭代参数t&＃61;1,2,3&＃xff1b;
• 在接下来不断的更新w0&＃xff0c;使它接近最优解&＃xff1b;
• 具体来说&＃xff0c;法则如下&＃xff1a;

wt等于wt的上一时刻减去η乘以损失函数关于wt的上一时刻的梯度。

      沿梯度方向将增加损失函数值。

      η&＃xff1a;是指学习率&＃xff0c;我沿着这个方向每次走多远。

      学习率&＃xff1a;步长的超参数&＃xff0c;是需要人为指定的一个值。

注意&＃xff1a;

选择学习率&＃xff1a;

• 不能太小&＃xff0c;如果选的太小&＃xff0c;每次的步长有限&＃xff0c;每到达一个点都需要走好多步&＃xff08;计算梯度是很贵的&＃xff0c;尽量少的计算梯度&＃xff09;&＃xff1b;
• 也不能太大&＃xff0c;如果太大就可能迈过要下降的地方&＃xff0c;使的一直在震荡&＃xff0c;并没有真正的下降。

二、小批量随机梯度下降

在整个训练集上算梯度太贵&＃xff0c;&＃xff08;需要把所有的训练集重新算一遍&＃xff09;&＃xff0c;一个深度神经网络模型可能需要数分钟至数小时&＃xff0c;代价太大了&＃xff0c;这时我们就可以随机采样b个样本i1&＃xff0c;i2&＃xff0c;....... ,ib来近似损失

当b很大的时候&＃xff0c;计算是精确的&＃xff0c;当b很小的时候可能没那么精确&＃xff0c;但是b很小的时候计算它的梯度是很容易的&＃xff0c;因为梯度的计算复杂度和样本的个数是线性相关的。这里b叫做批量大小&＃xff0c;是另一个重要的超参数。

注意&＃xff1a;

选择批量大小&＃xff1a;

• 不能太小&＃xff0c;每次计算量太小&＃xff0c;不适合并行来最大利用计算资源&＃xff1b;
• 也不能太大&＃xff0c;内存和批量大小时成正比的。如果使用GPU&＃xff0c;内存是一个很大的瓶颈&＃xff0c;内存消耗增加&＃xff0c;浪费计算&＃xff1b;

三、总结

1、梯度下降通过不断沿着反梯度方向更新参数求解&＃xff1b;好处是&＃xff0c;不需要知道显示解是什么样子&＃xff0c;只需要知道怎么求导就行了。

2、小批量随机梯度下降是深度学习默认的求解算法&＃xff1b;一般来说是最稳定最简单的。

3、两个重要的超参数是批量大小和学习率。