具体各种优化器算法公式推导见:https://blog.csdn.net/shichaog/article/details/73123801
tensorflow优化器
种类如下,其中Optimizer是基类
tf.train.Optimizer
tf.train.GradientDescentOptimizer 梯度下降法(有批量梯度下降法、随机梯度下降法、mini-batch 梯度下降法)
tf.train.AdadeltaOptimizer 实现了 Adadelta算法的优化器
tf.train.AdagradOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSPropOptimizer