seq2seq和attention应用到文档自动摘要

• 抽取式摘要

　　直接从原文中抽取一些句子组成摘要。本质上就是个排序问题&＃xff0c;给每个句子打分&＃xff0c;将高分句子摘出来&＃xff0c;再做一些去冗余&＃xff08;方法是MMR&＃xff09;等。这种方式应用最广泛&＃xff0c;因为比较简单。经典方法有LexRank和整数线性规划&＃xff08;ILP&＃xff09;。

　　LexRank是将文档中的每个句子都看作节点&＃xff0c;句子之间的相似度看作节点之间的边的权重&＃xff0c;构建一个graph&＃xff1b;然后再计算每个节点的分数&＃xff0c;这个打分的计算方式可以是度中心度&＃xff08;Degree centrality&＃xff09;、PageRank中心度等&＃xff08;论文里说这两种计算方式其实效果没有太大差别&＃xff0c;文中用的ROUGE-1作为指标&＃xff09;&＃xff1b;这个方法的要点在于&＃xff1a;不能每两个句子之间都有边&＃xff0c;要设定一个阈值&＃xff0c;只有相似度大于这个阈值才能有边&＃xff0c;阈值太大则丢失太多信息&＃xff0c;阈值太小则又引入了太多噪声。

• 压缩式摘要

　　有两种方式&＃xff1a;一种是pipeline&＃xff0c;先抽取出句子&＃xff0c;再做句子压缩&＃xff0c;或者先做句子压缩&＃xff0c;再抽句子。另一种是jointly的方式&＃xff0c;抽句子和压缩句子这两个过程是同时进行的。

　　句子压缩&＃xff08;Sentence compression&＃xff09;的经典方法是ILP&＃xff1a;句子中的每个词都对应一个二值变量表示该词是否保留&＃xff0c;并且每个词都有一个打分&＃xff08;比如tf-idf&＃xff09;&＃xff0c;目标函数就是最大化句子中的词的打分&＃xff1b;既然是规划那当然要给出限制&＃xff0c;最简单的限制比如说至少保留一个词&＃xff0c;再比如说当形容词被保留时其修饰的词也要保留&＃xff08;根据parse tree&＃xff09;。

• 理解式摘要

　　也叫产生式摘要&＃xff0c;试图理解原文的意思&＃xff0c;然后生成摘要&＃xff0c;也就是像我们人做摘要那样来完成任务。

　　从是否有用户查询的角度来说&＃xff0c;可以分为通用型摘要&＃xff08;generic&＃xff09;和基于用户查询的摘要&＃xff08;query-oriented&＃xff09;&＃xff0c;其中后者不仅要求生成的摘要应概括原文关键信息&＃xff0c;还要尽可能与用户查询具有很高的相关性。

　　首先可以是人工评价。目前来说&＃xff0c;自动评价指标采用的是ROUGE&＃xff0c;R是recall的意思&＃xff0c;换句话说&＃xff0c;这个指标基于摘要系统生成的摘要与参考摘要的n元短语重叠度&＃xff1a;

　　摘要这个任务要求用短序列概括长序列&＃xff0c;用召回率这样的计算思路可以反映出人工给出的参考摘要所列出的要点中有多少被包含在了机器生成的摘要中。这个指标用来应付抽取式摘要可能问题不大&＃xff0c;但是由于其无法评价所生成摘要的语法和语义&＃xff0c;而且倾向于长摘要&＃xff0c;所以其实还应该继续探索更合理的指标来评价理解式摘要。此外&＃xff0c;当然也可以计算基于precision的ROUGE&＃xff0c;而且ROUGE还有ROUGE-L等多种版本&＃xff1b;最常使用的是ROUGE-N的N取2的方式&＃xff08;也就是ROUGE-2&＃xff09;。评测工具的链接是这里(https://github.com/RxNLP/ROUGE-2.0)。

　　如果只说“序列到序列”的话&＃xff0c;那么词性标注&＃xff08;POS&＃xff09;其实也是这样的过程。但是它跟翻译、摘要显著不同的地方在于&＃xff1a;在POS问题中&＃xff0c;输入和输出是一一对应的&＃xff0c;而翻译、摘要的输出序列与输入序列则没有显著的对应关系。所以如下图所示&＃xff0c;POS问题可以用最右边的那个RNN结构来建模&＃xff0c;每个时刻的输入与输出就是词与词性。相比之下&＃xff0c;翻译、摘要这种则可以通过倒数第二张图那样的结构来解决&＃xff0c;这个结构可以看作是encoder和decoder都是RNN的encoder-decoder框架。

1. encoder-decoder

　　encoder-decoder框架的工作机制是&＃xff1a;先使用encoder&＃xff0c;将输入编码到语义空间&＃xff0c;得到一个固定维数的向量&＃xff0c;这个向量就表示输入的语义&＃xff1b;然后再使用decoder&＃xff0c;将这个语义向量解码&＃xff0c;获得所需要的输出&＃xff0c;如果输出是文本的话&＃xff0c;那么decoder通常就是语言模型。

　　这种机制的优缺点都很明显&＃xff0c;优点&＃xff1a;非常灵活&＃xff0c;并不限制encoder、decoder使用何种神经网络&＃xff0c;也不限制输入和输出的模态&＃xff08;例如image caption任务&＃xff0c;输入是图像&＃xff0c;输出是文本&＃xff09;&＃xff1b;而且这是一个端到端&＃xff08;end-to-end&＃xff09;的过程&＃xff0c;将语义理解和语言生成合在了一起&＃xff0c;而不是分开处理。缺点的话就是由于无论输入如何变化&＃xff0c;encoder给出的都是一个固定维数的向量&＃xff0c;存在信息损失&＃xff1b;在生成文本时&＃xff0c;生成每个词所用到的语义向量都是一样的&＃xff0c;这显然有些过于简单。

 2. attention mechanism 注意力机制

　　为了解决上面提到的问题&＃xff0c;一种可行的方案是引入attention mechanism。所谓注意力机制&＃xff0c;就是说在生成每个词的时候&＃xff0c;对不同的输入词给予不同的关注权重。谷歌博客里介绍神经机器翻译系统时所给出的动图形象地展示了attention&＃xff1a;

　　下图也展示了这一点&＃xff1a;右侧序列是输入序列&＃xff0c;上方序列是输出序列。输出序列的每个词都对应一个概率分布&＃xff0c;这个概率分布决定了在生成这个词的时候&＃xff0c;对于输入序列的各个词的关注程度。如图所示&＃xff0c;看蓝色框起来的那一列&＃xff0c;就是模型在生成joint这个词时的概率分布&＃xff0c;颜色最深的地方对应的是输入的joint&＃xff0c;说明模型在生成joint这个词时最为关注的输入词是joint。所谓attention&＃xff0c;就是说生成每个词时都为这个词得到这个概率分布&＃xff0c;进而可以使生成的词“更好”。

参考文献&＃xff1a;

【1】seq2seq和attention如何应用到文档自动摘要