BP误差反向传播算法

BP算法

BP算法通过将输出误差反向传播&＃xff0c;将误差分配到每个权值上&＃xff0c;利用梯度更新对所有参数进行调整以达到输出累计误差最小

为了简化概念&＃xff0c;先不加上偏置单元
符号介绍
zli :第l层第i节点的误差

zli:第l层第i节点的输入值

ali:第l层第i节点的输出值

wlji:第l−1层第i节点到第l层j节点的权值

h():节点的激活函数&＃xff0c;如sigmod、tanh等

ml:第l层的节点个数

根据网络图，有以下关系:
ali=h(zli)

zli&＃61;∑mljwljial−1j
误差反向传播递推公式以及对任一参数更新推导如下&＃xff08;打符号好慢&＃xff0c;直接上手工图片&＃xff09;