人工智能学习笔记理解深度学习中的前向传播和反向传播算法

一个典型的神经元模型可以用下图表示：

一个典型的全连接前向神经网络如下图所示：

设**函数为f，权重矩阵为W，偏置项为b，输入为A，最终输出为Y，则Y = f(WA+b)，计算输出Y这个过程就是前向传播的过程。

对于一个还没有训练好的神经网络而言，各个神经元之间的参数都是随机值，即初始化时赋的值，前向传播过程是神经网络的输入输出过程，即网络是如何根据A的值得到输出的Y值的。

本文参考了李宏毅老师的讲义，后面的数学推导也采用李老师的表示，因此采用李宏毅老师讲义里定义的模型，表达的意思是完全一样的。

未完待续