深度学习优化算法大全系列1:概览

1.深度学习优化算法概览图

深度学习(其实也包括传统的机器学习)中的优化算法&＃xff0c;丰富多彩多种多样。如果没有从逻辑上有条主线理清楚&＃xff0c;很容易会陷入混乱。因此我参考前人的总结&＃xff0c;特意总结了一张图&＃xff0c;将这些优化算法的逻辑关系理顺一下。

上面的图&＃xff0c;从两个方面对优化算法进行逻辑梳理&＃xff1a;以最基础的SGD为起点&＃xff0c;左半部分针对梯度方向进行优化&＃xff0c;右半部分针对学习率进行优化。

根据上面图片&＃xff0c;不难看出&＃xff0c;深度学习优化算法发展过程基本如下&＃xff1a;
SGD->SGDM->Nesterov->AdaGrad->AdaDelta->Adam->Nadam

后面我们针对上述算法将分别介绍。

2.优化算法框架

根据参考文献1&＃xff0c;提出用一个框架表述所有的优化算法&＃xff0c;个人认为总结很赞&＃xff0c;因此贴出来供大家参考&＃xff1a;
定义待优化参数$\omega$&＃xff0c;目标函数$f(\omega )$&＃xff0c;初始学习率$\alpha$。

在每个epoch t进行迭代时&＃xff1a;

1.根据目标函数计算当前参数的梯度&＃xff1a;gt&＃61;▽f(ωt)g_t&＃61;\bigtriangledown f(\omega_t)gt​&＃61;▽f(ωt​)
2.根据历史梯度计算一阶动量与二阶动量
mt&＃61;ϕ(g1,g2,⋯,gt)Vt&＃61;φ(g1,g2,⋯,gt)m_t &＃61; \phi(g_1, g_2, \cdots, g_t)\\ V_t &＃61; \varphi(g_1, g_2, \cdots, g_t) mt​&＃61;ϕ(g1​,g2​,⋯,gt​)Vt​&＃61;φ(g1​,g2​,⋯,gt​)
3.计算当前时刻的下降梯度
ηt&＃61;α⋅mt/Vt\eta_t &＃61; \alpha \cdot m_t / \sqrt{V_t}ηt​&＃61;α⋅mt​/Vt​

​
4.根据下降梯度进行更新
ωt&＃43;1&＃61;ωt−ηt\omega_{t&＃43;1} &＃61; \omega_t - \eta_t ωt&＃43;1​&＃61;ωt​−ηt​

各种优化算法基本都是上述框架&＃xff0c;步骤3&＃xff0c;4都一致&＃xff0c;不同就体现在第1&＃xff0c;2两点。

以传统的SGD为例&＃xff1a;
mt&＃61;gtVt&＃61;I2m_t&＃61;g_t\\ V_t &＃61; I^2 mt​&＃61;gt​Vt​&＃61;I2

则对于步骤三&＃xff0c;梯度下降时&＃xff0c;ηt&＃61;α⋅gt\eta_t &＃61; \alpha \cdot g_tηt​&＃61;α⋅gt​
这就是我们见到的传统的最简单梯度下降的方式。

参考文献

1.https://zhuanlan.zhihu.com/p/32230623