今天想和大家分享的是图卷积神经网络。 随着人工智能发展&＃xff0c;很多人都听说过机器学习、深度学习、卷积神经网络这些概念。 但图卷积神经网络&＃xff0c;却不多人提起。 那什么是图卷积神经网络呢&＃xff1f; 简单的来说就是其研究的对象是图数据(Graph)&＃xff0c;研究的模型是卷积神经网络。
为什么有图卷积神经网络
自2012年以来&＃xff0c;深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功。 和传统方法相比&＃xff0c;它好在哪里呢&＃xff1f;
假设有一张图&＃xff0c;要做分类&＃xff0c;传统方法需要手动提取一些特征&＃xff0c;比如纹理啊&＃xff0c;颜色啊&＃xff0c;或者一些更高级的特征。 然后再把这些特征放到像随机森林等分类器&＃xff0c;给到一个输出标签&＃xff0c;告诉它是哪个类别。
而深度学习是输入一张图&＃xff0c;经过神经网络&＃xff0c;直接输出一个标签。 特征提取和分类一步到位&＃xff0c;避免了手工提取特征或者人工规则&＃xff0c;从原始数据中自动化地去提取特征&＃xff0c;是一种端到端(end-to-end)的学习。 相较于传统的方法&＃xff0c;深度学习能够学习到更高效的特征与模式。
卷积神经网络很好&＃xff0c;但是它研究的对象还是限制在Euclidean domains的数据。 什么是Euclidean data&＃xff1f; Euclidean data最显著的特征就是有规则的空间结构&＃xff0c;比如图片是规则的正方形栅格&＃xff0c;比如语音是规则的一维序列。 而这些数据结构能够用一维、二维的矩阵表示&＃xff0c;卷积神经网络处理起来很高效。
但是&＃xff0c;我们的现实生活中有很多数据并不具备规则的空间结构&＃xff0c;称为Non Euclidean data。 比如推荐系统、电子交易、计算几何、脑信号、分子结构等抽象出的图谱。 这些图谱结构每个节点连接都不尽相同&＃xff0c;有的节点有三个连接&＃xff0c;有的节点有两个连接&＃xff0c;是不规则的数据结构。
下面结合两个典型的业务场景来说明什么是图&＃xff1a;
社交网络非常适合用图数据来表达
上面的图谱刻画社交网络中各个节点以及它们之间的关系&＃xff0c;用户A、用户B、帖子都是节点&＃xff0c;用户与用户之间的关系是关注&＃xff0c;用户与帖子之间的关系可能是发布或者转发。 通过这样一个图谱&＃xff0c;可以分析用户对什么人、什么事感兴趣&＃xff0c;进一步实现推荐机制。
电商场景中的图谱
在电商中&＃xff0c;我们首先可以想到的关键节点就是&＃xff0c;用户、交易和商品。用户关联的节点比如会有注册地址、收获地址等&＃xff1b;交易会关联到商品、收货地址、交易IP等、商品会关联类目等。这些节点之间的关系&＃xff0c;比如用户除了可以通过交易购买商品&＃xff0c;还可以对商品进行评分。这样的图数据我们可以用来做两件事情&＃xff0c;一是推荐、二是反欺诈。
通过上面两个例子&＃xff0c;可以很明显的感受到&＃xff0c;图有两个基本的特性&＃xff1a;
一是每个节点都有自己的特征信息。 比如针对上图&＃xff0c;我们建立一个风控规则&＃xff0c;要看这个用户的注册地址、IP地址、交易的收货地址是否一样&＃xff0c;如果这些特征信息不匹配&＃xff0c;那么系统就会判定这个用户就存在一定的欺诈风险。这是对图节点特征信息的应用。
二是图谱中的每个节点还具有结构信息。 如果某段时间某个IP节点连接的交易节点非常多&＃xff0c;也就是说从某个IP节点延伸出来的边非常多&＃xff0c;那么风控系统会判定这个IP地址存在风险。这是对图节点结构信息的应用。
总的来说&＃xff0c;在图数据里面&＃xff0c;我们要同时考虑到节点的特征信息以及结构信息&＃xff0c;如果靠手工规则来提取&＃xff0c;必将失去很多隐蔽和复杂的模式&＃xff0c;那么有没有一种方法能自动化地同时学到图的特征信息与结构信息呢&＃xff1f;——图卷积神经网络
什么是图卷积神经网络
图卷积神经网络(Graph Convolutional Network)是一种能对图数据进行深度学习的方法。
图卷积算子&＃xff1a;
上面给出的是图卷积算子的计算公式&＃xff0c;设中心节点为i&＃xff1b;
如何理解图卷积算法&＃xff1f; 我们看动图分三步去理解(注意不同颜色代表不同的权重)&＃xff1a;
第一步&＃xff1a; 发射(send) 每一个节点将自身的特征信息经过变换后发送给邻居节点。 这一步是在对节点的特征信息进行抽取变换。
第二步&＃xff1a; 接收(receive) 每个节点将邻居节点的特征信息聚集起来。 这一步是在对节点的局部结构信息进行融合。
第三步&＃xff1a; 变换(transform) 把前面的信息聚集之后做非线性变换&＃xff0c;增加模型的表达能力。
图卷积神经网络具有卷积神经网络的以下性质&＃xff1a;
1、局部参数共享&＃xff0c;算子是适用于每个节点(圆圈代表算子)&＃xff0c;处处共享。
2、感受域正比于层数&＃xff0c;最开始的时候&＃xff0c;每个节点包含了直接邻居的信息&＃xff0c;再计算第二层时就能把邻居的邻居的信息包含进来&＃xff0c;这样参与运算的信息就更多更充分。 层数越多&＃xff0c;感受域就更广&＃xff0c;参与运算的信息就更多。
我们来看GCN这个模型框架&＃xff0c;输入是一张图&＃xff0c;经过一层一层计算变换&＃xff0c;最后输出一张图。
GCN模型同样具备深度学习的三种性质&＃xff1a;
1、层级结构(特征一层一层抽取&＃xff0c;一层比一层更抽象&＃xff0c;更高级)&＃xff1b;
2、非线性变换 (增加模型的表达能力)&＃xff1b;
3、端对端训练(不需要再去定义任何规则&＃xff0c;只需要给图的节点一个标记&＃xff0c;让模型自己学习&＃xff0c;融合特征信息和结构信息。 )
GCN四个特征&＃xff1a;
1、GCN 是对卷积神经网络在 graph domain 上的自然推广。
2、它能同时对节点特征信息与结构信 息进行端对端学习&＃xff0c;是目前对图数据学习任务的最佳选择。
3、图卷积适用性极广&＃xff0c;适用于任意拓扑结构的节点与图。
4、在节点分类与边预测等任务上&＃xff0c;在公开数据集上效果要远远优于其他方法。
我们怎么用图卷积神经网络
下面分享一个我们在实际应用场景中的实验&＃xff1a;
实验输入是一个验证数据构成的图数据&＃xff0c;节点是验证事件以及事件相关的属性节点。 如IP&＃xff0c;DeviceID&＃xff0c;UA等节点。 (我们总计用了30天的验证数据&＃xff0c;每两个小时的数据构成一张图&＃xff0c;共360张图。 )
实验输出是对事件节点进行人机分类&＃xff0c;正常或者异常。
实验细节
网络结构&＃xff1a;
GCN(128)->GCN(64)->GCN(64)->Linear(2)
训练: Adam优化器, lr&＃61;0.001
参照基准: 以只能学习特征信息的GBDT做为基准, grid_search 搜索超参数&＃xff0c;GBDT是目前最流行的浅层分类器。
我们用第一天的数据做训练&＃xff0c; 持续30天预测结果 如下&＃xff1a;
GCN模型的准确率衰减比较小&＃xff0c;而GBDT的衰减很严重。 可见&＃xff0c;GCN模型的人机判别效果要好&＃xff0c;鲁棒性好。
7d评估效果可视化&＃xff0c;(用第一天的数据训练模型&＃xff0c;第七天观察其预测效果及最后一层输出的tsne可视化结果)。 上图可以看出&＃xff0c;GCN在第七天时对样本判别的分界面仍很明显&＃xff0c;但是GBDT对样本判别的分界面已经很模糊类了。 综上&＃xff0c;GCN学到的结构信息在人机判别中不仅效果很好&＃xff0c;也具有更好的鲁棒性。
京公网安备 11010802041100号