深度学习笔记梯度下降

目标&＃xff1a;对于一个代价函数&＃xff0c;寻找其最小值&＃xff0c;即最低点。
方法&＃xff1a;x减去当前梯度&＃xff0c;即斜率&＃xff0c;然后再得到y。
解释&＃xff1a;如果当前点是A点&＃xff0c;则斜率是正数&＃xff0c;减去后x变小&＃xff0c;y变小。
如果当前点是B点&＃xff0c;则斜率是负数&＃xff0c;减去后x变大&＃xff0c;y变小。
改进&＃xff1a;为了避免下降过快&＃xff0c;减去“ 学习率*梯度 ”&＃xff0c;用学习率控制下降的快慢。

参考
Michael Nielsen. 神经网络与深度学习[M]