【深度学习基础】反向传播法（1）

前面我们已经学习了神经网络的学习过程&＃xff0c;通过梯度下降法不断逼近代价函数的最小值&＃xff0c;进而不断更新权重&＃xff0c;取得最优的参数。

但是&＃xff0c;前面的梯度计算&＃xff0c;采用的是中心差分的方式进行的&＃xff0c;计算起来比较复杂&＃xff0c;现在开始我们开始学习一种高效的梯度计算方法——反向传播法。

计算图的概念

在超市买了 2 个 100日元一个的苹果&＃xff0c;消费税是10%&＃xff0c;计算支付金额。

我们通过图形&＃xff0c;描述支付金额的计算过程。

换一种表达方式&＃xff1a;

我们发现&＃xff0c;在解决这个问题的时候&＃xff0c;我们自己的思路和图形完全一致&＃xff01;

1. 根据苹果的单价和数量计算价值金额。

2. 根据税率&＃xff0c;计算待支付金额。

我们如何计算支付金额关于苹果单价的导数呢&＃xff1f;

可以采用刚刚计算支付金额的反向方法&＃xff0c;计算对应的导数&＃xff08;具体如何计算的&＃xff0c;后面再说&＃xff09;。我们发现&＃xff0c;计算图通过前向传递&＃xff0c;可以一步步计算出支付金额。而通过反向传播&＃xff0c;可以一步步回退出支付金额对某一变量的导数。

计算f(x,y) &＃61; (x&＃43;y)^2对x的偏导数

首先&＃xff0c;我们把函数进行换元&＃xff1a;

 根据求导公式&＃xff0c;

我们参照步骤&＃xff0c;逐步计算偏导数的流程与计算图的反向传播完全一致。

加法计算的反向传播

神经网络中&＃xff0c;加法计算和乘法计算是是比较常见的&＃xff0c;分别来看看。

对于加法计算&＃xff0c;我们发现&＃xff0c;他们的偏导数为1.

乘法的反向传播

对于乘法计算呢&＃xff1f;

 我们发现乘法的反向传播为其他项的乘积&＃xff1a;