转g代码教程_图深度学习入门教程（九）——图滤波神经网络模型

本教程是一个系列免费教程&＃xff0c;争取每月更新2到4篇。(由于精力有限&＃xff0c;近期停止了一段时间&＃xff0c;在此向大家道个歉)。

主要是基于图深度学习的入门内容。讲述最基本的基础知识&＃xff0c;其中包括深度学习、数学、图神经网络等相关内容。该教程由代码医生工作室出版的全部书籍混编节选而成。偏重完整的知识体系和学习指南。在实践方面不会涉及太多基础内容 (实践和经验方面的内容&＃xff0c;请参看原书)。

文章涉及使用到的框架以PyTorch和TensorFlow为主。默认读者已经掌握Python和TensorFlow基础。如有涉及到PyTorch的部分&＃xff0c;会顺带介绍相关的入门使用。

本教程主要针对的人群&＃xff1a;

• 已经掌握TensorFlow基础应用&＃xff0c;并想系统学习的学者。

• PyTorch学习者

• 正在从TensorFlow转型到PyTroch的学习者

• 已经掌握Python&＃xff0c;并开始学习人工智能的学者。

在上一篇的结尾出介绍了GfNN模型可以SGC网络可以弥补SGC模型无法拟合非线性数据的不足。本篇就来介绍下GfNN模型的结构、原理以及在DGL中的实现。

1 了解GfNN的网络结构

图滤波神经网络 (Graph filter Neural Network, GfNN)模型的主要思想就是在SGC模型后面加入深度学习中的非线性拟合功能。通过这种方式来弥补SGC网络无法拟合非线性数据的不足。

在掌握了SGC和深度神经网络的基础上&＃xff0c;会很容易理解GfNN的结构。GfNN的结构只是在SGC后面加了1层全连接网络而已。如图10-17所示。

从图中&＃xff0c;可以看到GfNN和GCN具有相似的高性能。由于GfNN在学习阶段不需要邻接矩阵的乘法&＃xff0c;因此它比GCN要快得多。此外&＃xff0c;GfNN对噪声的容忍度也更高。

GfNN模型更像是一个框架。框架中包含了两部分&＃xff1a;

(1)通过多跳的方式&＃xff0c;将图信息融合到图解点特征中。

(2)用深度学习的方法&＃xff0c;对融合后的图节点特征进行拟合。

基于这个框架&＃xff0c;可以不仅仅限于图10-17中的全连接神经网络结构。在实际应用中&＃xff0c;可以像普通的深度学习任务一样&＃xff0c;根据数据的特征和任务的特点&＃xff0c;选用适合的神经网络来搭建模型。

有关GfNN的更多详细信息可以参考论文(arXiv: 1905.09550,2019)

2 了解DGL库中GfNN的实现方式

在SGConv代码的基础稍加修改就可以实现一个带有全连接的GfNN模型。

2.1. DGL库中GfNN的代码实现

实现SGConv类的主要代码如下&＃xff1a;

代码文件&＃xff1a; dglGfNN.py(片段)

01 class GfNN(nn.Module):                #定义GfNN类
02    def __init__(self,in_feats, n_hidden, n_classes,03                 k, activation, dropout, cached&＃61;True,bias&＃61;False):
04        super(GfNN, self).__init__()
05        self.activation &＃61; activation    #激活函数
06        self.sgc &＃61; SGConv(in_feats, n_hidden, k,cached, bias)
07        self.fc &＃61; nn.Linear(n_hidden, n_classes)
08        self.dropout &＃61; nn.Dropout(p&＃61;dropout)
09    def forward(self, g,features):
10        x &＃61; self.activation(self.sgc(g,features))#对SGC结果进行非线性变换
11        x &＃61; self.dropout(x)
12        return self.fc(x)        #对变换后的特征进行全连接处理
13    
14 model &＃61; GfNN(feats_dim,n_hidden&＃61;512,n_classes&＃61;n_classes, #实例化GfNN模型
15                   k&＃61;2,activation&＃61; nn.PReLU(512) ,dropout &＃61; 0.2)


代码第14行演示了实例化GfNN模型的过程。一般使用激活函数PReLU效果会更好一些。

2.2. 技术细节&＃xff1a;什么是PReLU激活函数

PReLU&＃xff1a;是一个ReLU激活函数的变种&＃xff0c;其数学公式如下。

其中&＃xff0c; a是一个调节参数&＃xff0c;该参数可以通过自学习得来。

在PyTorch中&＃xff0c;PReLU的原形定义如下&＃xff1a;

torch.nn.PReLU(num_parameters&＃61;1, init&＃61;0.25)


其中参数num_parameters代表可学习参数的个数&＃xff0c;init代表可学习参数的初始值。

2.3. GfNN模型的思想

GfNN模型的思想会比模型本身的意义更大。该模型提供了一个非常好的思路&＃xff0c;可以使非欧数据与深度学习技术更好的结合到一起。

推荐阅读

图深度学习入门教程(一)——基础类型

图深度学习入门教程(二)——模型基础与实现框架
图深度学习入门教程(三)——全连接神经网络与图卷积

图深度学习入门教程(四)——训练模型的原理

图深度学习入门教程(五)——模型的优化器

图深度学习入门教程(六)——注意力机制与图注意力

图深度学习入门教程(七)——残差多层图注意力模型

图深度学习入门教程(八)——简化图卷积模型

思考:用图神经中的空间域解密谱域中的拉普拉斯

思考sobel算子的原理

思考BN算法与激活函数的前后位置