损失函数_损失函数和评价指标

引言

最近做图神经网络相关内容的时候&＃xff0c;发现相关的损失函数和评价指标方面的内容还有所欠缺&＃xff0c;借着周日的总结的机会&＃xff0c;大致的总结一下。

损失函数

① 交叉熵损失函数

这个函数出现在节点分类中&＃xff0c;主要是多分类和二分类。

二分类问题&＃xff1a;

其中&＃xff0c;

表示样本&＃xff0c;

表示实际的标签&＃xff0c;

表示预测的输出&＃xff0c;

表示样本的总数量

多分类问题

需要注意的是输入数据是softmax或者是sigmoid的输出。 在GCN的鼻祖论文中损失函数就是采用的上面的损失函数&＃xff0c;只不过稍加改变为半监督分类中的损失函数&＃xff1a;

其中&＃xff0c;

是包含label的节点索引。

到目前为止&＃xff0c;见到的也就是上面的这种损失函数判断分类损失&＃xff0c;为了避免以后遇到更多&＃xff0c;所以把机器学习常见的加以总结。

② L2损失函数

公式如下&＃xff1a;

其中

表示实际的类别标签&＃xff0c;

表示预测的类别便签。

③ L1损失

和式子②的区别在于采用绝对值度量。

④ Hinge 损失函数

标准形式如下&＃xff1a;

其中&＃xff0c;0表示分类正确的损失&＃xff0c;

表示为分类错误的损失。

评价指标

在阅读过多的论文之中&＃xff0c;评价指标一般采用四种&＃xff0c;准确率、F1、Micro-F1及Macro-F1。

首先先记录一下基本的概念&＃xff0c;TP、FP、FN及TN&＃xff0c;精确率和召回率

• TP: 预测为正&＃xff0c;实际也为正
• FP&＃xff1a;预测为正&＃xff0c;实际为负
• FN&＃xff1a;预测为负&＃xff0c;实际为正
• TN&＃xff1a;预测为负&＃xff0c;实际为负

精确率&＃xff1a;

召回率&＃xff1a;

F1-score

Micro-F1

通过先计算总体的TP&＃xff0c;FN和FP的数量&＃xff0c;再计算F1

例子&＃xff08;来源&＃xff09;&＃xff1a;

一共包含四类&＃xff0c;1,2,3,4即&＃xff08;ABCD&＃xff09;

实际的标签&＃xff1a;1 1 1 1 1 2 2 2 2 3 3 3 4 4

预测的标签&＃xff1a;1 1 1 0 0 2 2 3 3 3 4 3 4 3

得到的结果如下表&＃xff1a;

新的

&＃61;8/(8&＃43;4)&＃61;0.666&＃xff0c;

&＃61;8/(8&＃43;6)&＃61;0.571。因此Micro-F1&＃xff1a;0.62

Macro-F1

计算各类的

和

&＃xff0c;

、

、

、

&＃xff0c;得到平均

分布计算每个类别的F1&＃xff0c;然后做平均&＃xff08;各类别F1的权重相同&＃xff09;