吴恩达机器学习课程03——梯度下降

梯度下降

• 我想先用最简单通俗的语言描述一下什么是梯度下降法。为了便于举例理解，我以三维空间举例。
• 现在我需要你在脑海中构想这么一个场景：你身处一片凹凸不平的山岭地带，天空中雷声滚滚，而站得越高，遭受雷击的可能性就越大。所以现在你需要尽快躲到一个所能达到的（局部）地势较低的地方（局部最优解），或者说你要尽快下山。所谓尽快，其实就是走最短的路使你海拔降低的速率最快 ，最终你成功到达一个局部地势最低的地点。
• 讲完这个例子，我要立刻引入三个数学术语：偏导数、方向导数、梯度。
• 偏导数的几何意义是表示固定面上一点的切线斜率。为了方便理解，我再贴一张偏导数几何意义的图。