深入解析PyTorch中的交叉熵损失函数（CrossEntropyLoss）

对于target为类id&＃xff0c;其实做了one-hot 操作&＃xff0c;例如对于总共有三类&＃xff0c;其中id为2&＃xff0c;则转换后的标签如下&＃xff1a;[0,0,1]。 这些标签作为权重乘上input的值进行叠加。

参见代码&＃xff0c;秒懂。 三个输出一致

if __name__ &＃61;&＃61; "__main__":import torchimport torch.nn as nnnllloss &＃61; nn.NLLLoss()x &＃61; torch.tensor([[1.5,2.5,3.0],[1.2,2.0,2.9]])onehot_y &＃61; torch.tensor([[0,1.0,0],[0,0,1]])logsoft_out &＃61; nn.LogSoftmax()(x)y &＃61; torch.tensor([1,2])print(nllloss(logsoft_out,y))print(nn.CrossEntropyLoss()(x,onehot_y))print(nn.CrossEntropyLoss()(x,y))exit()

如果input和target都是相同维度&＃xff0c;例如3x5。

其实做了一个这样的操作&＃xff0c;

torch.matmul(input, target.T)&＃xff0c; 再对这个3x3的矩阵[0,0],[1,1],[2,2]的值累加做平均