NLP论文笔记新标签的关系抽取

之前写过一篇公众号&＃xff0c;介绍在没有参考中科院专家论文情况下&＃xff0c;我在项目中也使用了类似思路。本文就重点介绍一下这篇论文《Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme》&＃xff0c;2017年由中科院团队发表¹的论文&＃xff0c;当时被评为年度杰出论文。

关系抽取简介

实体&＃xff08;Entity&＃xff09;的关系抽取&＃xff08;Relation Extraction&＃xff09;作为NLP领域的一项基本任务&＃xff0c;很早就被学者关注到了。早期的实体识别通常基于概率图模型&＃xff0c;如隐马尔可夫链&＃xff08;Hidden Markov model&＃xff0c;简写 HMM&＃xff09;&＃xff0c;条件随机场&＃xff08;Conditional random field&＃xff0c; 简写CRF&＃xff09;&＃xff0c;实体识别完成以后再进行实体的关系分类&＃xff0c;这就是早期使用的Pipline方法&＃xff0c;也称为流水线式的抽取方法。这种方法在今天仍然发挥很大的作用。

另一种方式就是Joint Model方法&＃xff0c;一个模型完成多个任务&＃xff0c;包括实体识别和关系分类两个任务&＃xff0c;底层使用参数共享的方式&＃xff0c;很好地做到了端到端&＃xff08;end to end&＃xff09;处理方式&＃xff0c;并且取得了非常好的效果。

论文介绍

本文最大的贡献是通过定义一种新的标签集&＃xff0c;将Joint Model任务转化为序列标注问题&＃xff0c;也就是实体识别。关键是把关系定义到标签里。可以参考原文&＃xff1a;

We design a kind of novel tags which contain the information of entities and the rela- tionships they hold. Based on this tagging scheme, the joint extraction of entities and relations can be transformed into a tagging problem

来看一下论文中提出的标签策略&＃xff0c;实体United States标签本来应该是B-ORG E-ORG&＃xff0c;修改为B-CP-1 E-CP-1&＃xff0c;而实体Trump应该是S-PER&＃xff0c;修改为S-CP-2.实体标签里已经包含了关系CP&＃xff08;Country-President&＃xff09;关系。

通过上面的作为&＃xff0c;只要完成序列标注问题&＃xff0c;实体的关系也就完成了。

论文的网络结构

本文是在2017年发表&＃xff0c;当时处理序列问题流行的仍然是LSTM&＃xff0c;下面是编码器和解码器的网络图。

可以看到编码器采用双向的LSTM获取输入的序列特征&＃xff0c;解码器使用单向LSTM&＃xff0c;并且将上一个输出标签也作为下一个标签的输入&＃xff0c;这个点非常重要&＃xff0c;因为标签的之间的关系是非常重要的特征。最终输入到softmax层。

论文的一点想法

本文最大的贡献肯定是新标签的提出&＃xff0c;将两个任务转化为一个任务&＃xff0c;代价是标签的种类增多了&＃xff0c;如果在特定领域内或者关系种类较少的情况下&＃xff0c;这样的做法简单有效&＃xff0c;但是对于开放域&＃xff0c;关系较多的情况下&＃xff0c;使用这种方法&＃xff0c;最终关系分类会进一步增加&＃xff0c;效果也有待实验验证&＃xff0c;个人觉得效果也不会太差。

论文同步更新在个人博客&＃xff1a;http://blackedu.vip
微信公众号&＃xff08;数学编程&＃xff09;以及CSDN&＃xff08;数学编程&＃xff09;上&＃xff0c;欢迎关注我。