图对比学习GMIcodestudy

将对近年来的SSL-GNN做出一个 整体分析&＃xff0c;基于作者的开源代码

GMI的损失不像DGI下降的那么快&＃xff0c;结果也一般。 同时缺点很明显&＃xff1a;GPU增加&＃xff0c;时间变慢&＃xff0c;epoch增加&＃xff0c;精度没增加&＃xff0c;这里双重DGI损失&＃xff0c;没有采用 双判别器&＃xff0c;采用 负采样&＃43;soft_plus

1.1 Cora dataset

1.2 Citeseer

1.3 Pubmed — dim&＃61;512&＃xff0c; GPU OOM

— dim &＃61;256&＃xff0c; 才可以运行&＃xff0c; 但gpu 需要 18G&＃xff0c;很大了。 重构邻接矩阵所导致的问题

训练时间很长&＃xff0c;epoch还是很大&＃xff0c;结果也不尽人意


这里我额外做了两个实验&＃xff0c;分别 对文章 所提出的额外的两个损失进行了消融&＃xff0c;
首先 不考虑重构

GPU减小

其次&＃xff0c;再次不考虑 h 和 其邻居&＃xff08;本文最大创新&＃xff09;&＃xff0c;这样就变成了和DGI损失类似&＃xff0c;GPU当256时候在11G之下&＃xff0c;和DGI作者当时在paper中报导的类似。 但是收敛特别慢&＃xff0c;结果也很差。

突然发现 原论文的 code 对于citeseer和pubmed要求是一层&＃xff01;&＃xff01;&＃xff01; 修改后

Pubmed 的GPU -usage还是很大。 那就看效果吧。。。

还是一样~&＃xff0c;没有达到论文acc

Notes&＃xff1a;

原论文里面 声称自己 citeseer 和 pubmed 的 维度都是 512&＃xff0c; 且作者只是在 reddit 和 ppi 时候 采用了 graphsage进行 采样。且 GPU 是Tesla P40— 24G。 这篇方法 无疑是 有问题的&＃xff0c; 后续的很多文章 都是在 computers等amazon的数据集上都是OOM&＃xff0c;也有见过pubmed 报OOM。

自己方法本来就有问题&＃xff0c;还要踩一脚DGI&＃xff0c;况且DGI 只是改变encoder 并不是什么复杂的事&＃xff0c;GMI根本无法扩展。像这么胆大的 作者简直了&＃xff0c; 还有勇气开源&＃xff0c;&＃xff0c;lol&＃xff0c;&＃xff0c;&＃xff0c; 不知道 是不是自己之前的code有什么tricks&＃xff0c;但开源的确实有很大问题&＃xff0c; 貌似 西交这个 作者 把这个扩展成了期刊。 如果有人可以复现~ 还请告知 &＃xff0c; 谢谢~

代码大都是和DGI一样的&＃xff0c;但是计算损失不一样&＃xff0c;并且采用了负采样&＃xff08;实际上不是 我开始想象的那样 采用5个负样本&＃xff0c;而是 5次 shuffle 进行平均&＃xff0c; 损失 不是采用 交叉熵&＃xff0c;而是 DIM 的变分 sp_plus&＃xff09;~~

采样&＃xff1a; 实际上这个负采样 就是 dgi里面的 shuffle if条件使得 所有 节点都必须改变位置

这里 根据 sample_times 进行采样&＃xff0c; 代码里面和原文 保持一致&＃xff0c;采样5个负样本&＃xff0c;不对&＃xff0c;这里是 通过随机randint 产生的samole_list是 包含五组&＃xff0c;通过下标&＃xff08;randnum&＃xff09;。每一组都是 2708个index。 这里和dgi的方式本质是一致的&＃xff0c;同时通过判断&＃xff0c;确认 打乱的数组 节点下标一定和之前不一样。&＃xff08;比dgi通过 np.random.permutation 打乱后 有可能 当前节点index还是一样&＃xff09;

这里计算损失确实 和原文一致&＃xff0c;采用了JS散度计算&＃xff0c;目标函数和DIM中的JS损失 的一样

感兴趣的同学 可以去看 DIM 的原文&＃xff0c;很经典的 互信息无监督 cv表征学习的文章&＃xff0c; 其中有太多 散度等知识&＃xff0c;之前看过&＃xff0c;每次都是晕晕的 DIM 分析

代码中的 这个 mi_loss_jsd 就是计算出 js的MI&＃xff0c; 由于 要最大化 因此 目标函数 &＃61; -1* 论文中的11&＃xff08;MI&＃xff09; &＃xff0c;因此 这里code是 两项相加
这里负样本得分传进来是 5组 两次 mean 求得最终损失
DIM 损失 JSD-MI 计算

输入是 正样本对 的得分 &＃43; 负样本对 的得分 res_mi_pos&＃43;res_mi_neg 计算节点h和s res_local_pos&＃43;res_local_neg 计算 节点h和原始x

判别器修改&＃xff1a;
h_c h_pl 是正样本对 12708256 127081433. sc_1是正样本对得分 这里 从 h_pl&＃xff08;节点中&＃xff09;中通过下标选出 一组 负样本 h_mi 127081433, 再次计算 负样本和 正样本的得分。返回的 sc_1 正样本。 sc_2是一个包含5个 得分的 随机采样负样本和正样本的得分&＃xff0c;相当于是把 dgi 的 负样本得分 计算了五次&＃xff0c;这样肯定会增大时间