AI机器学习(12)神经网络反向传播

      反向传播神经网络如雷贯耳。哪哪都是这个词。为什么要反向&＃xff1f;

     首先神经网络是为了最优化参数&＃xff0c;wb. 梯度下降最优解。如何做&＃xff1f;求导。当把所有式子列出来后&＃xff0c;会发现式链式求导&＃xff0c;有大量重复。从数学计算的简便性来说&＃xff0c;反过来可以避免重复,简化计算&＃xff0c;这就是为嘛反向。

1.公式

2.公式->代码 &＃xff08;主要是求导函数的运用&＃xff09;

3.技巧&＃xff08;矩阵求导&＃xff0c;可以转置让其维度匹配&＃xff09;

1. 公式

         W1 b1

      W2 b2

         W3 b3

1. 公式->代码

1. 反向传播求梯度&＃xff0c;主要就是求导得gradients[ &＃43; ]的应用

完成的代码如下

2.更新系数

1. 训练

主程序&＃xff0c;或者叫入口程序。

两个函数&＃xff1a;

显示

3.技巧

  矩阵如何求导&＃xff1f;标量对矩阵求导&＃xff0c;维度不变。

  公式&＃xff1a;