吴恩达机器学习（六）梯度下降

梯度下降算法可以用在更一般的问题上&＃xff0c;比如计算minimize J(θ0…θn)&＃xff0c;用以优化代价函数。
不断地改变θ0和θ1的值&＃xff0c;直到代价函数J达到最小值。



梯度下降法的一大特点就是&＃xff0c;不同位置出发&＃xff0c;得到的可能是局部最优解&＃xff0c;而非整体最优解。

repeat until convergence -> 重复执行&＃xff0c;直到收敛

:&＃61;代表赋值&＃xff0c;&＃61;代表真假判断
α称为学习率&＃xff0c;控制以多大的幅度更新参数θj&＃xff0c;即控制我们每次走一步步数的大小。
α越大&＃xff0c;梯度下降越快。
会用到偏导数和导数的知识。
梯度下降中&＃xff0c;θ0, θ1…θn都是同步更新的&＃xff0c;不能将刚更新的值用来计算下一个参数。

单参数简单实例

假设我们想最小化的函数只有一个参数θ1

1.偏导数的作用

初始值不同的两种情况&＃xff0c;粉色框对应的值为J(θ1)点的斜率。
θ1 在运算过程中一直在减小&＃xff08;下降&＃xff09;。
初始值在左侧时&＃xff0c;斜率从负数增加到0&＃xff1b;
初始值在右侧是&＃xff0c;斜率从正数减小到0&＃xff1b;

2.α学习率的作用

α学习率肯定是正数

如果学习率太小&＃xff0c;梯度下降的过程会很慢。
如果学习率太大&＃xff0c;很有可能会越过最优解点&＃xff0c;并使得结果愈发远离理想结果&＃xff0c;甚至发散。

当θ1相对上一次θ1没有改变&＃xff0c;则到达局部最优解(因为局部最优解处斜率为0)

当结果接近局部最优解时&＃xff0c;梯度下降会逐渐减小速度 / 步伐&＃xff0c;因为斜率是主键趋于0的。
因此&＃xff0c;在执行过程中不需要再修改α学习率。