pytorch里的log_softmax,nll_loss,cross_entropy

import torch.nn.functional as F

常用的函数有&＃xff1a; log_softmax,nll_loss, cross_entropy

1.log_softmax, 就是log和softmax合并在一起执行

2. nll_loss ,函数全称是negative log likelihood loss, 函数表达式为

例如&＃xff1a;假设x&＃61;[1,2,3], class&＃61;2, 则

3. cross_entropy

交叉熵的计算公式为

其中p表示真实值&＃xff0c;在这个公式中是one-hot形式&＃xff0c;q是预测值&＃xff0c;在这里假设是经过softmax后的结果了。

仔细观察可知&＃xff0c;因为p的元素不是0就是1,而且又是乘法&＃xff0c;所以很自然地&＃xff0c;如果我们知道1所对应的index,那么就不用做其他无意义的运算了。所以在pytorch代码中target不是以one-hot形式表示的&＃xff0c;而是直接用scalar表示&＃xff0c;所以交叉熵的公式(m表示真实类别&＃xff09;可变形为

仔细看看&＃xff0c;就是等同于log_softmax和nll_loss两个步骤

所以pytorch中的F.cross_entropy会自动调用上面介绍的log_softmax和nll_loss来计算交叉熵&＃xff0c;其计算方式如下&＃xff1a;

代码实现

import torch
import torch.nn.functional as F
import torchsnooper
&＃64;torchsnooper.snoop() #用于调试&＃xff0c;观察哪里会出错误
def main(): input&＃61;torch.from_numpy(np.array([[-0.0979, -0.3264, -0.1561, 0.2403, -0.4000], [-1.6561, 0.9922, -0.2922, 0.4640, -0.6327], [-0.3424, 1.3673, 0.8343, -0.1376, 1.7234]])) target&＃61;torch.from_numpy(np.array([2, 2, 4])) #方法一&＃xff0c; 直接调用cross_entropy 计算损失函数 loss &＃61; F.cross_entropy(input, target)#直接调用函数进行计算tensor(1.5196, dtype&＃61;torch.float64) print(loss) #方法二&＃xff0c; 分步骤计算损失函数 #step1: 先计算softmax() probability&＃61;F.softmax(input,dim&＃61;1)#shape [num_samples,num_classes] #step2 计算预测值的对数 log_P&＃61;torch.log(probability) &＃39;&＃39;&＃39;对输入的target标签进行 one-hot编码&＃xff0c;使用_scatter方法&＃39;&＃39;&＃39; one_hot&＃61;torch.zeros(probability.shape,dtype&＃61;float).scatter_(1,torch.unsqueeze(target,dim&＃61;1),1) #根据交叉熵公式loss&＃61;-target*log(predict) loss3&＃61;-one_hot*log_P loss3&＃61;loss3.sum() loss3/&＃61;probability.shape[0] print(&＃39;loss3&＃39;,loss3) # 1.5196与第一种方法结果是一样的 #方法三&＃xff0c; 借助于log_softmax logsoftmax&＃61;F.log_softmax(input) loss4&＃61;-one_hot*logsoftmax loss4&＃61;loss4.sum() loss4/&＃61;probability.shape[0] print(&＃39;loss4&＃39;,loss4) #1.5196 #方法四&＃xff0c; 借助于nllloss nllloss&＃61;F.nll_loss(logsoftmax,target) print(&＃39;nllloss&＃39;,nllloss)
if __name__ &＃61;&＃61; &＃39;__main__&＃39;: main()