改善深层神经网络：超参数调整、正则化以及优化——2.7RMSprop

RMSprop算法全称是root mean square prop算法&＃xff0c;该算法可以加速梯度下降&＃xff0c;回忆一下之前的例子&＃xff0c;如果执行梯度下降&＃xff0c;虽然横轴方向正在推进&＃xff0c;但纵轴方向会有大幅度的摆动&＃xff0c;假设纵轴代表参数b&＃xff0c;横轴代表参数W&＃xff0c;可能有W1W_1W1​&＃xff0c;W2W_2W2​或者其它重要的参数&＃xff0c;为了便于理解&＃xff0c;称为b和W。所以如果想减缓b方向的学习&＃xff0c;同时加快横轴方向的学习&＃xff0c;RMSprop算法可以实现这一点。

在第t次迭代中&＃xff0c;该算法会照常计算当下mini-batch的微分$dW$和$db$。这里用新符号SdwS_{dw}Sdw​&＃xff0c;Sdw&＃61;β∗Sdw&＃43;(1−β)∗(dW)2S_{dw}&＃61;\beta*S_{dw} &＃43;(1-\beta)*(dW)^2 Sdw​&＃61;β∗Sdw​&＃43;(1−β)∗(dW)2公式中平方的操作是针对这一整个符号的&＃xff0c;这样做能够保留微分平方的加权平均数。同样有Sdb&＃61;β∗Sdb&＃43;(1−β)∗(db)2S_{db}&＃61;\beta * S_{db}&＃43;(1-\beta)*(db)^2Sdb​&＃61;β∗Sdb​&＃43;(1−β)∗(db)2参数更新公式变为W&＃61;W−α∗dWSdWW&＃61;W-\alpha * \frac{dW}{\sqrt{S_{dW}}}W&＃61;W−α∗SdW​

​dW​b&＃61;b−α∗dbSdbb&＃61;b-\alpha*\frac{db}{\sqrt{S_{db}}}b&＃61;b−α∗Sdb​

​db​我们理解一下其中的原理&＃xff0c;在横轴方向或者在例子中的W方向&＃xff0c;我们希望学校速度快&＃xff0c;而在垂直方向&＃xff0c;也就是例子中的b方向&＃xff0c;我们希望减缓纵轴上的摆动。所以有了SdWS_{dW}SdW​和SdbS_{db}Sdb​&＃xff0c;我们希望SdWS_{dW}SdW​会相对较小&＃xff0c;所以W参数更新要除以一个较小的数&＃xff0c;而希望SdbS_dbSd​b较大&＃xff0c;这样b更新会除以一个较大的数字&＃xff0c;这样就可以减缓纵轴上的变化。

RMSprop的影响就是&＃xff0c;纵轴方向上的摆动较小&＃xff0c;而横轴方向继续推进。还有个影响就是&＃xff0c;可以用更大学习率$\alpha$加快学习。

在RMSprop中要确保算法不会除于0&＃xff0c;如果SdWS^{dW}SdW的平方根趋近于0怎么办&＃xff1f;这样得到的答案非常大&＃xff0c;为了确保数值稳定&＃xff0c;在实际中操作的时候&＃xff0c;要在分母加上一个很小很小的$\epsilon$&＃xff0c;$\epsilon$是多少没关系&＃xff0c;KaTeX parse error: Expected &＃39;EOF&＃39;, got &＃39;&&＃39; at position 3: 10&̲{-8}是个不错的选择&＃xff0c;这只是保证数值能够稳定一些。无论什么原因&＃xff0c;都不会除以一个很小很小的数&＃xff0c;所以RMSprop跟Momentum有很相似的一点&＃xff0c;可以消除梯度下降中的摆动&＃xff0c;并允许使用一个更大的学习率$alpha$&＃xff0c;从而加快算法学习速度。