论文浅尝|基于知识图谱注意力网络的商品推荐

论文笔记整理&＃xff1a;康矫健&＃xff0c;浙江大学计算机科学与技术系&＃xff0c;硕士研究生。

论文链接&＃xff1a;https://arxiv.org/pdf/1905.07854.pdf

发表会议&＃xff1a;KDD 2019

任务定义

输入&＃xff1a;协同过滤知识图谱

具体来说包括两个部分&＃xff0c;其一是用户和商品的二部图

其二是原始的知识图谱

输出&＃xff1a;预测用户u喜爱商品 i 的概率

动机

1. KG 存在的商品之间的高阶连接关系&＃xff0c;比如商品 1 和商品 2 是同一个导演&＃xff0c;对推荐系统是有作用的

2. 在引入 KG 的两类方法中&＃xff0c;Meta-Path based Method 需要 domain knowledge 预先设计好 Meta-Path&＃xff0c;且并非端到端的训练过程

3. 而 Regularization-based methods 缺乏显式地捕获商品之间的高阶连接关系

基于以上 3 点&＃xff0c;本篇论文作者将 KG 引入到推荐系统&＃xff0c;提出了一个新的模型 KGAT&＃xff0c;该模型能够以一种端到端的方法&＃xff0c;显式地捕获商品之间的高阶连接关系&＃xff0c;从而克服了之前 KG-Based Method 的不足之处

模型

1.     Embedding Layer

基于 TransR&＃xff0c;使得真实的 triplet 尽可能地满足&＃xff0c;而非真实的 triplet尽可能地不满足该关系&＃xff0c;损失函数如下&＃xff1a;

2.     Attentive Embedding Propagation Layers

Information Propagation: 用于聚合周围节点的信息

其中

Knowledge-aware Attention:聚合时候采用 knowledge attention的方式&＃xff0c;而不是 averaging pooling 的方式

Information Aggregation:将聚合过来的周围节点信息和节点自身的信息结合在一起作为更新后的节点信息。这里边作者提供了三种方式&＃xff0c;后续也有对照实验比较这几种方式的优劣

High-order Propagation:聚合多次就可以得到 high order 的 embedding。

3.     Prediction Layer

将L&＃43;1层的embedding拼接在一起作为最终user和item的embedding&＃xff0c;并用两者的内积作为最终的预测值

4.     Optimization

Loss 包括两个部分&＃xff0c;一个是KG embedding的loss&＃xff0c;还有一个是商品推荐的loss&＃xff0c;因此模型是一个联合训练的过程

实验分析

1.     Performance Comparison

可以看到&＃xff0c;本文提出的KGAT在recall和ndcg指标上都不同程度地好于目前效果最好的模型&＃xff0c;具体结果如下&＃xff1a;

2.     Performance Comparison w.r.t. Interaction Sparsity Levels

在不同sparsity设定下&＃xff0c;KGAT均好于当前所有模型

3.     Effect of Model Depth

可以看出&＃xff0c;在大多数情况下&＃xff0c;当KGAT的层数达到4层时&＃xff0c;效果最好&＃xff0c;证明了high order信息被我们有效地捕获到了

4.     Effect of Aggregators

 可以发现&＃xff0c;Bi-Interaction的聚合方式能够达到最好的performance

5.     Effect of Knowledge Graph Embedding and Attention Mechanism

可以发现&＃xff0c;缺少了KG embedding或者attention mechanism之后&＃xff0c;模型性能都在一定程度上有所下降&＃xff0c;证明了这两个模块是有用的。

6.     Case Study

根据左图的 attention 值&＃xff0c;可以发现给用户 u₂₀₈ 推荐商品 i₄₂₉₃ 是由于用户 u₂₀₈ 曾经购买过商品 i₁₈₂₇&＃xff0c;且商品 i₁₈₂₇ 和商品 i₄₂₉₃ 有共同的作者&＃xff0c;这很明显为模型提供了一定程度的可解释性。

OpenKG

开放知识图谱&＃xff08;简称 OpenKG&＃xff09;旨在促进中文知识图谱数据的开放与互联&＃xff0c;促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文&＃xff0c;进入 OpenKG 博客。