作者:苦柚甜甜 | 来源:互联网 | 2023-09-10 11:48
focal Loss梯度求导的链式法则:
转载: https://blog.csdn.net/linmingan/article/details/77885832
反向传播网络的工作过程是首先进行信息的前馈,计算出各个节点的输入输出值,网络最终的输出,并把各个节点的输入输出值进行存储,利用损失函数求出最终的损失,然后进行损失的反向传播,在损失反向传播的过程中实际上是对各个节点的输出进行求梯度,那么在这个过程中我们发现用到的值都是之前前馈过程中的输入输出值,只要推导出计算公式,就可以直接利用存储的中间变量实现反向传播的梯度求解,然后是对各个权值进行更新,在更新的过程中会用到先前求解的对于各个节点输出梯度。![目标检测中Loss函数:Focal Loss反向求导 目标检测中Loss函数:Focal Loss反向求导](https://img1.php1.cn/3cdc5/32ca/978/71a7ac1da9bf39dc.png)
![目标检测中Loss函数:Focal Loss反向求导 目标检测中Loss函数:Focal Loss反向求导](https://img1.php1.cn/3cdc5/32ca/978/4144d9c63dc9be8f.png)
其中的分母的平方是整体的平方,先来看看softmax是如何求导的:
![目标检测中Loss函数:Focal Loss反向求导 目标检测中Loss函数:Focal Loss反向求导](https://img1.php1.cn/3cdc5/32ca/978/b59910d48bedb75a.png)