文本推理_基于事理图谱的文本推理

事件及其在时间、空间上相继发生的演化规律和模式这一动态知识在知识图谱中记录得不充分&＃xff0c;为了弥补这一不足&＃xff0c;事理图谱应运而生&＃xff0c;其节点表示事件&＃xff0c;有向边表示事件之间的演化关系。它能够揭示事件的发展逻辑&＃xff0c;刻画和记录人类行为活动。

事理图谱的相关概念和定义

研究背景及意义

随着深度学习的兴起&＃xff0c;基于深度学习的文本推理技术被广泛关注。然而&＃xff0c;在文本推理过程中如何让机器掌握人类知识&＃xff0c;并进行可解释性推理是当前技术面临的一大挑战。例如&＃xff0c;人类能轻易理解“吃过饭”后&＃xff0c;就“不饿”了这样的常识知识&＃xff0c;而让机器理解并掌握大量类似这样的知识是一件极其困难的事情。在众多类型的人类知识中&＃xff0c;事理逻辑是一种非常重要且普遍存在的知识。

文本推理的很多任务都依赖于对事理逻辑知识的深刻理解。在通用领域&＃xff0c;以隐式消费意图推理为例&＃xff0c;只有让机器知道“结婚”事件伴随着后续一系列消费事件&＃xff0c;例如“买房子”、“买汽车”和“去旅行”&＃xff0c;才能在观察到“结婚”事件的时候&＃xff0c;准确地推理出用户潜在的隐式消费意图&＃xff0c;进而向目标用户做出精准的产品推荐。而在特定领域&＃xff0c;如金融领域&＃xff0c;股市一般伴随着短期内随机事件的小波动&＃xff0c;以及长期内重大事件驱动的大波动。例如&＃xff0c;近年来随着人工智能迎来发展高潮&＃xff0c;以及“我国将人工智能列为国家发展战略”&＃xff0c;科大讯飞等人工智能企业的股价迎来了一波大涨。事件驱动的股市预测悄然兴起。从金融文本中挖掘“粮食减产”导致“农产品价格上涨”&＃xff0c;再导致“通胀”&＃xff0c;进而导致“股市下跌”这样的远距离事件依赖&＃xff0c;对于事件驱动的股市涨跌预测非常有价值。事理逻辑知识的挖掘与知识库构建迫在眉睫&＃xff0c;这将极大地推动文本推理技术的应用发展。

事件是人类社会的核心特征之一&＃xff0c;人们的社会活动往往是事件驱动的。事件之间在时间维度上相继发生的演化规律和模式是一种十分有价值的知识&＃xff0c;挖掘这种事理逻辑知识对认识人类行为和社会发展变化规律非常有意义。然而&＃xff0c;当前无论是知识图谱还是语义网络等知识库的核心研究对象主体不是事件。尽管传统知识图谱在现代搜索引擎中得到了广泛应用&＃xff0c;但是其聚焦于实体和实体之间的关系&＃xff0c;缺乏对事理逻辑知识的挖掘。事理逻辑知识&＃xff0c;包括事件之间的顺承、因果、条件和上下位等关系&＃xff0c;对于文本推理的多种任务具有非常巨大的价值。为了揭示事件的演化规律和发展模式&＃xff0c;我们提出了事理图谱(Eventic Graph, EG)的概念&＃xff0c;旨在将文本中对事件及其关系的描述抽取并抽象出来&＃xff0c;构建成一个有向图形式的事理知识库。

事理图谱的定义

事理图谱是一个描述事件之间演化规律和模式的事理逻辑知识库。结构上&＃xff0c;事理图谱是一个有向图&＃xff0c;其中节点代表事件&＃xff0c;有向边代表事件之间的顺承、因果、条件和上下位等事理逻辑关系。

事理图谱中事件的定义与表示

理论上&＃xff0c;事理图谱中的事件是具有一定抽象程度的泛化事件&＃xff0c;具体可以表示为抽象、语义完备的谓词短语或句子&＃xff0c;或可变长度的、结构化的&＃xff08;主体&＃xff0c;事件词&＃xff0c;客体&＃xff09;多元组&＃xff0c;元组中必须至少包含一个事件词标志事件的发生&＃xff0c;例如“跑步”&＃xff1b;而事件的主体和客体都可以在不同的应用场景下被省略&＃xff0c;例如“&＃xff08;元首&＃xff0c;出访&＃xff09;”可以省略事件的客体&＃xff0c;“&＃xff08;购买&＃xff0c;机票&＃xff09;”可以省略事件的主体。一般情况下&＃xff0c;事件的抽象或泛化程度与该事件发生的场景紧密关联&＃xff0c;脱离了具体的场景&＃xff0c;一个单独的事件可能变得过度抽象而难以理解。例如&＃xff0c;在具体的场景下&＃xff0c;“吃火锅”“看电影”“去机场”“地震” 是合理的事件表达&＃xff1b;“做事情”“吃”等事件由于过度抽象&＃xff0c;属于不合理或不完整的事件表达。

事理图谱中的事件关系类型

根据对大规模文本数据进行统计&＃xff0c;现实世界中有四种事理逻辑关系所占比重较大&＃xff0c;也是事理图谱中主要关注的事理逻辑关系&＃xff0c;包括事件之间的顺承关系、因果关系、条件关系和上下位关系。

顺承关系 是指两个事件在时间上相继发生的偏序关系。事理图谱中的顺承关系相对比较简单&＃xff0c;只需要保证前序事件a在后序事件b之前发生即可&＃xff0c;不用考虑哪个事件先结束。事实上&＃xff0c;只要a事件的起始时间点早于b事件的起始时间点&＃xff0c;那么它们之间就有可能形成顺承关系&＃xff0c;而它们的结束时间点的相对关系可以是任意的。两个前后顺承的事件之间存在一个介于0到1之间的转移概率&＃xff0c;表示从一个事件按顺承关系演化到下一事件的置信度。

因果关系 是指两个事件之间&＃xff0c;前一事件&＃xff08;原因&＃xff09;的发生导致后一事件&＃xff08;结果&＃xff09;的发生。因果关系满足原因事件在前&＃xff0c;结果事件在后的时间上的偏序关系&＃xff0c;因此在一定意义上&＃xff0c;可以认为因果关系是顺承关系的子集。因果事件对之间存在一个介于0到1之间的因果强度值&＃xff0c;表示该因果关系成立的置信度。

条件关系 是指前一个事件是后一个事件发生的条件。条件关系属于思想中命题的某种逻辑关系&＃xff0c;因果关系属于对客观事实的某种认识。条件关系可以理解为“理由”&＃xff0c;是前提与结论或论据与论点的内在联系&＃xff0c;是关于逻辑的&＃xff0c;而因果关系则可以理解为“原因”&＃xff0c;是关于事实的&＃xff0c;本质上讲“原因≠理由”。举例来说&＃xff0c;“如果买票的人多&＃xff0c;那么电影好看”这一条件是成立的&＃xff0c;而“因为买票的人多&＃xff0c;所以电影好看”这一因果是不成立的。

上下位关系 事件之间的上下位关系有两种&＃xff1a;名词性上下位关系和动词性上下位关系。例如&＃xff0c;事件“食品价格上涨”与“蔬菜价格上涨”互为名词性上下位关系&＃xff1b;事件“杀害”与“刺杀”互为动词性上下位关系。需要注意的是&＃xff0c;上下位关系一般是确定性的知识&＃xff0c;因此无须类比顺承或者因果关系&＃xff0c;给上下位关系赋值一个0到1之间的常数来表示其置信度。

事理图谱与知识图谱的联系

“知识图谱”这一术语可以有两层含义。如果认为“知识图谱”表示广义上的知识库&＃xff0c;是一种用以存储知识的本体&＃xff0c;那么“事理图谱”则是一种存储事理逻辑关系的“知识图谱”&＃xff1b;如果认为“知识图谱”特指狭义上现阶段以谷歌、百度等为代表所构建的以实体为中心、用于提升用户搜索体验的知识库&＃xff0c;那么“事理图谱”便是与“知识图谱”相并列的一种新型常识知识库。

如表1所示&＃xff0c;事理图谱与知识图谱的区别与联系可以从研究对象、组织形式、主要知识形式和知识的确定性四个方面进行研究。事理图谱以谓词性事件为核心研究对象&＃xff0c;有向边表示事理逻辑关系&＃xff0c;即顺承、因果、条件和上下位等&＃xff1b;边上标注概率信息说明事理图谱是一种事件间相继发生可能性的刻画&＃xff0c;不是确定性关系。而知识图谱以体词性实体为核心研究对象&＃xff0c;实体属性以及实体间关系种类往往成千上万。知识图谱以客观真实性为目标&＃xff0c;某一条属性或关系要么成立&＃xff0c;要么不成立。

事理图谱在文本推理任务中的应用

近年来&＃xff0c;越来越多的研究工作在文本推理相关的任务中通过引入外部知识来提升相关任务的性能。例如&＃xff0c;在阅读理解和问答系统等任务中引入知识图谱帮助更好地表示文本语义信息&＃xff0c;进而提升阅读理解和问答系统的性能。然而&＃xff0c;这些典型的任务主要引入的是关于实体的关系和属性知识。对于一些依赖事理逻辑知识&＃xff08;例如&＃xff0c;事件的因果和顺承关系&＃xff09;的文本推理任务来说&＃xff0c;事理图谱将会发挥更大的作用。知识驱动的文本推理可以借鉴认知科学中的双通道理论。在人脑的认知系统中存在两个系统&＃xff1a;系统1和系统2。系统1是一个直觉系统&＃xff0c;它可以通过人对相关信息的直觉匹配寻找答案&＃xff0c;这个系统快速而简单&＃xff1b;而系统2是一个分析系统&＃xff0c;它需要通过一定的推理、逻辑找到答案。系统1可以基于事理图谱来实现&＃xff0c;在此基础上可以进行相关信息的匹配和扩展&＃xff1b;而系统2可以基于一个图神经网络来实现&＃xff0c;在图神经网络中可以做一定的推理和决策。下文将以脚本事件预测为例&＃xff0c;介绍事理知识如何帮助文本推理任务。

基于叙事事理图谱的脚本事件预测

脚本是人工智能领域的一个重要概念&＃xff0c;提出于20世纪70年代[1]&＃xff0c;当时的研究方法是基于专家的人工知识工程。直到2008年&＃xff0c;Chambers和Jurafsky[2]提出了基于指代消解技术利用自动化的方法从大规模语料中自动抽取脚本事件链条&＃xff0c;并提出了经典的挖词填空式的评估标准来评估脚本事件推断模型&＃xff0c;这种思路被称为统计脚本学习。这一工作引领了一系列后续的统计脚本学习研究工作&＃xff0c;其中Granroth-Wilding和Clark的工作[3]对该领域的研究起到了重要的推动作用。Granroth-Wilding和Clark提出了多选项完形填空(Multiple Choice Narrative Cloze&＃xff0c;MCNC)的评估方法&＃xff08;如图1所示&＃xff09;&＃xff1a;给定一个脚本事件上下文和5个候选后续事件&＃xff0c;推理模型需要从中准确地挑选出唯一正确的那个后续事件。

前人在脚本事件预测任务上应用的典型方法包括基于事件对的PMI[2]和EventComp[3]&＃xff0c;以及基于事件链条的PairLSTM[4]。尽管这些方法取得了一定的成功&＃xff0c;但是事件之间丰富的连接信息仍没有被充分利用。为了更好地利用事件之间的稠密连接信息&＃xff0c;李忠阳等人[5]提出构建一个叙事事理图谱&＃xff0c;然后在该图谱上进行网络表示学习&＃xff0c;进一步预测后续事件。

基于叙事事理图谱进行事件预测的主要动机如图2所示&＃xff0c;给定事件上下文A(enter)、B(order)、C(serve)&＃xff0c;推理模型需要从D(eat)和E(talk)中挑选出正确的后续事件。其中&＃xff0c;D(eat)是正确的后续事件&＃xff0c;而E(talk)是一个随机挑选的高频混淆事件。基于事件对和事件链的方法很容易挑选出错误的E(talk)事件&＃xff0c;因为图2(b)中的事件链条显示C和E的关联性比C和D的关联性更强。然而&＃xff0c;基于图2(b)中的链条构建图2(c)中的事件网络后&＃xff0c;可以发现B、C和D形成了一个强连通分量。如果能够学习到B、C和D形成的这种强连接图结构信息&＃xff0c;则推理模型更容易预测出正确的后续事件D。

有了一个叙事事理图谱之后&＃xff0c;为了解决大规模图结构上的推理问题&＃xff0c;李忠阳等人[5]提出了一个可扩展的图神经网络模型(Scaled Graph Neural Network&＃xff0c;SGNN)在该事理图谱上进行网络表示学习。该方法以门控图神经网络(Gated Graph Neural Networks&＃xff0c;GGNN)[6]模型为基础。重点解决其不能直接用于大规模叙事事理图谱图结构的问题。SGNN每次只在一个小规模相关子图上进行计算&＃xff0c;通过此训练将GGNN扩展到大规模有向有环加权图上。该模型经过修改也可以应用于其他网络表示学习任务中。

SGNN模型框架如图3所示。图3(a)和图3(b)可以看成系统1的信息匹配和扩展的过程&＃xff0c;图3(c)则是进行推理和决策的过程。具体而言&＃xff0c;图3(a)是构建好的叙事事理图谱&＃xff0c;SGNN每次从中抽取出待推理问题相关的一个子图&＃xff0c;如图3(b)所示&＃xff0c;然后将其送入图3(c)的GGNN模型中&＃xff0c;学习并更新该子图上的事件表示。具体地&＃xff0c;每个子图包括一个故事上下文和所有候选事件节点&＃xff0c;以及这些节点之间的有向边。在更新事件表示的过程中SGNN充分学习到了事理图谱的图结构信息&＃xff0c;进而可以更好地帮助预测后续事件的发生。

总结和展望

本文重点介绍了事理图谱相关的概念和定义&＃xff0c;并介绍了事理图谱在文本推理任务上的应用。知识图谱已被证明可以有效地帮助解决很多文本推理问题。从现在事理图谱的发展来看&＃xff0c;事理图谱有望解决的是涉及复杂事理逻辑知识的文本推理任务。事理图谱中记录的大量因果和顺承逻辑可以有效地帮助推理模型按照人类认知过程进行决策&＃xff0c;给出详细的推理路径来解释最终的推理结果。同时&＃xff0c;事理图谱还可以与垂直领域深度结合&＃xff0c;例如金融、司法、政治等&＃xff0c;与领域专家知识形成互动&＃xff0c;打造下一代基于事理知识的认知推理引擎&＃xff0c;是事理图谱一个重要的发展方向。相对于知识图谱而言&＃xff0c;事理图谱还是一个新兴概念&＃xff0c;在构建技术以及应用技术上都还处于发展阶段。这也提供了大量的研究机遇&＃xff0c;不同领域的学者可以在事理图谱方向做出独具特色的研究工作&＃xff0c;共同推动事理图谱在自然语言处理方向的发展&＃xff0c;有力提升文本推理系统的可解释性。

特别声明&＃xff1a;中国计算机学会(CCF)拥有《中国计算机学会通讯》(CCCF)所刊登内容的所有版权&＃xff0c;未经CCF允许&＃xff0c;不得转载本刊文字及照片&＃xff0c;否则被视为侵权。对于侵权行为&＃xff0c;CCF将追究其法律责任

参考文献

[1] Schank R C, Abelson R P. Scripts, Plans, Goals, and Understanding: An Inquiry into Human Knowledge Structures[M]. Psychology Press.1977.

[2] Chambers N, Jurafsky D. Unsupervised learning of narrative event chains[C]// Proceedings of the 46th Annual Meeting of the Association for Computational Linguistic. 2008: 789-797.

[3] Granroth-Wilding M, Clark S. What happens next? event prediction using a compositional neural network model[C]// AAAI&＃39;16: Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. AAAI Press, 2016: 2727-2733.

[4] Wang Z, Zhang Y, Chang C-Y. Integrating order information and event relation for script event prediction[C]// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. 2017:57-67.

[5] Li Z, Ding X, Liu T. Constructing narrative event evolutionary graph for script event prediction[C/OL]//IJCAI&＃39;18: Proceedings of the 27th International Joint Conference on Artificial Intelligence. AAAI Press, 2018: 4201–4207. arXiv preprint arXiv:1805.05081.

[6] Li Y, Tarlow D, Brockschmidt M, et al. Gated graph sequence neural networks[J/OL]. Computer Science, 2015. arXiv preprint arXiv:1511.05493.

作者简介