每日学术推荐：异质图神经网络在抽取式文档摘要中的应用研究

作为提取性文档摘要中的关键步骤&＃xff0c;学习跨句关系已通过多种方法进行了探索。 一种直观的方法是将它们放在基于图的神经网络中&＃xff0c;该网络具有更复杂的结构以捕获句子间的关系。 在本文中&＃xff0c;我们提出了一种用于提取摘要的基于异构图的神经网络&＃xff08;HETERSUMGRAPH&＃xff09;&＃xff0c;该网络包含除句子外的不同粒度级别的语义节点。 这些额外的节点充当句子之间的中介&＃xff0c;并丰富了跨句关系。 此外&＃xff0c;我们的图结构通过引入文档节点&＃xff0c;可以灵活地从单文档设置自然扩展到多文档。 据我们所知&＃xff0c;我们是第一个将不同类型的节点引入基于图的神经网络中以进行提取文档摘要并进行全面定性分析以研究其好处的公司。

存在问题

为了有效地从文档中提取值得总结的句子&＃xff0c;核心步骤是为交叉句子关系建模。当前大多数模型都使用递归神经网络&＃xff08;RNN&＃xff09;捕获跨句关系&＃xff08;Cheng和Lapata&＃xff0c;2016; Nallapati等&＃xff0c;2017; Zhou等&＃xff0c;2018&＃xff09;。但是&＃xff0c;基于RNN的模型通常很难捕获句子级的远程依赖&＃xff0c;尤其是在长文档或多文档的情况下。一种更直观的方法是使用图结构为句子之间的关系建模。然而&＃xff0c;寻找有效的图结构进行汇总是具有挑战性的。已经以各种方式进行了努力。早期的传统工作利用句间余弦相似度来构建连接图&＃xff0c;例如LexRank&＃xff08;Erkan和Radev&＃xff0c;2004&＃xff09;和TextRank&＃xff08;Mihalcea和Tarau&＃xff0c;2004&＃xff09;。最近&＃xff0c;一些作品在构建摘要图时考虑了语篇之间的关系&＃xff0c;例如具有句子个性化特征的近似语篇图&＃xff08;ADG&＃xff09;&＃xff08;Yasunaga等人&＃xff0c;2017&＃xff09;和修辞结构理论&＃xff08;RST&＃xff09;图&＃xff08;Xu等人。 &＃xff0c;2019&＃xff09;。但是&＃xff0c;它们通常依赖于外部工具&＃xff0c;并且需要考虑错误传播问题。一种更直接的方法是创建一个句子级的全连接图。在某种程度上&＃xff0c;可以将最近工作中使用的Transformer编码器&＃xff08;Vaswani等人&＃xff0c;2017&＃xff09;&＃xff08;Zhong等人&＃xff0c;2019a; Liu和Lapata&＃xff0c;2019b&＃xff09;分类为此类&＃xff0c;以学习句子之间的成对交互。尽管取得了成功&＃xff0c;但如何构建有效的图结构进行汇总仍是一个悬而未决的问题。

方法

在本文中&＃xff0c;我们提出了一种用于提取摘要的异构图网络。我们不仅仅在句子级节点上构建图&＃xff0c;而是引入更多的语义单元作为图中的其他节点&＃xff0c;以丰富句子之间的关系。这些额外的节点充当连接句子的中介。即&＃xff0c;每个附加节点都可以看作是包含该附加节点的句子之间的特殊关系。在通过异构图的消息传递过程中&＃xff0c;这些其他节点以及句子节点将被迭代更新。

尽管可以使用更高级的功能&＃xff08;例如实体或主题&＃xff09;&＃xff0c;但为简单起见&＃xff0c;我们在本文中将单词用作语义单元。每个句子都与其包含的单词相关。所有句子对和单词对都没有直接边缘。所构造的异构单词句图具有以下优点&＃xff1a;&＃xff08;a&＃xff09;考虑到显式重叠的单词信息&＃xff0c;不同的句子可以彼此交互。 &＃xff08;b&＃xff09;单词节点还可以聚合句子中的信息并得到更新。与我们的模型不同&＃xff0c;现有模型通常将单词作为嵌入层保持不变。 &＃xff08;c&＃xff09;通过多个消息传递过程可以充分利用不同粒度的信息。 &＃xff08;d&＃xff09;我们的异构图网络可扩展为更多类型的节点。例如&＃xff0c;我们可以引入文档节点进行多文档摘要。

给定一个曲线图G &＃61; fV;例如&＃xff0c;其中V代表节点集&＃xff0c;E代表节点之间的边&＃xff0c;我们的无向异构图可以正式定义为V &＃61; Vw [Vs和E &＃61; fe11; ··· ng这里&＃xff0c;Vw &＃61; fw1; ··· wmg表示文档的m个唯一词&＃xff0c;Vs &＃61; fs1&＃xff1b; ··· sng对应于文档中的n个句子。 E是一个实值边缘权重矩阵&＃xff0c;eij 6 &＃61; 0&＃xff08;i 2 f1;··; mg; j 2 f1;···ng&＃xff09;表示第j个句子包含第i个单词

图1展示了我们模型的概述&＃xff0c;该模型主要包括三个部分&＃xff1a;用于节点和边的图初始化器&＃xff0c;异构图层和句子选择器。初始化程序首先创建节点和边&＃xff0c;然后将其编码为文档图。然后&＃xff0c;异构图通过图注意力网络&＃xff08;GAT&＃xff09;在单词和句子节点之间迭代传递消息来更新这些节点表示&＃xff08;Velickovic et al。&＃xff0c;2017&＃xff09;。最后&＃xff0c;提取句子节点的表示以预测摘要的标签。

本文以句子节点和单词节点作为图节点&＃xff0c;以他们之间的tf-idf作为边&＃xff0c;然后使用GAT进行训练。

作者进一步修改GAT层以注入使用tf-idf的标量边缘权重eij&＃xff0c;将其映射到多维嵌入空间。 因此&＃xff0c;等于注意力机制修改如下&＃xff1a;

分别对词节点和句子节点进行迭代&＃xff1a;

我们使用Trigram Blocking进行解码&＃xff0c;这是最大边际相关性的简单但功能强大的版本&＃xff08;Carbonell and Goldstein&＃xff0c;1998&＃xff09;。 具体来说&＃xff0c;我们根据句子的得分对句子进行排名&＃xff0c;并丢弃与前代词组重叠的句子。

多文档的总结摘要&＃xff0c;只要加入文档节点即可。

总结

问题&＃xff1a;在文档摘要提取任务中&＃xff0c;传统模型很难建模文档中句子间的关系。

方法&＃xff1a;构建包含所有单词的单词节点&＃xff0c;和所有句子的句子节点&＃xff0c;词在句子中就建立一条边&＃xff0c;并以tf-idf作为额外的边权重&＃xff0c;同时使用GAT迭代学习单词节点和句子节点的表示&＃xff0c;最后使用句子节点进行摘要句预测。

启发&＃xff1a;节点和句子构建图&＃xff0c;并使用tf-idf等信息&＃xff0c;之前gcn做文本分类就有了&＃xff0c;这一套方法应该可以迁移到不少任务。