热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

使用WordEmbedding构造文本摘要系

文本摘要是在信息泛滥的时代非常重要的工具,可以帮助用户快速判断文章内容主旨,并以此决定是否值得细看文章内容。本文介绍下我们在2014年底2015年初时,使用WordEmbedding思想

文本摘要是在信息泛滥的时代非常重要的工具,可以帮助用户快速判断文章内容主旨,并以此决定是否值得细看文章内容。

本文介绍下我们在2014年底2015年初时,使用WordEmbedding思想来构造文本摘要的一些思路,其中包括一种异常简单的文本摘要实现思路,实验效果证明这种方法虽然简单,可能比传统的TFIDF方法还要简单,但是效果与比较复杂的方法是相当的。

这里介绍我们做的其中两种方法,一种是非常简单的根据字Word Embedding直接叠加方式做摘要系统,另外一种是对HITS经过

WordEmbedding改造的文本摘要思路

|基于字WordEmbedding叠加的简洁文本摘要系统

首先,我们可以使用Word2Vec等工具获得汉字的Word Embedding。然后对于某个文档进行分句,对于每个句子使用单字的Word Embedding直接累加获得句子的Word Embedding表示;

然后,把每个句子的WordEmbedding直接累加获得整个文档的Word Embedding。如图1所示,这样文档和句子都以Word Embedding的低维度向量来表示,这个向量分别代表了文档和句子的语义信息。

                                                          1.根据句子wordEmbedding获得文档WordEmbedding

接着,我们开始摘要句子抽取过程,其基本思路是非常简单的:哪些句子在语义上与文档整体语义更相似,那么就选哪些句子作为摘要句。

                                                               2.摘要计算流程

具体实现流程如图2所示。就是直接用每个句子的语义向量和文档整体语义向量来通过Cosine距离计算两者之间的距离,分值越大,说明这个句子在语义上越和文档整体语义越匹配,那么就越有代表性。当每个句子都算出和文档整体语义的语义相似性得分后,根据得分由高到低排序,并按需要输出一定数量的句子作为文档的摘要。

怎么样,这个思路和具体实现是相当的简单吧,应该与最简单的TFIDF做摘要的思路相当甚至还要更简单些。

|利用HITSWordEmbedding进行改造的摘要系统

HITS是目前做摘要的所有方法里面,除了监督学习方法外,效果最能够代表主流成果的方法了。其思路是把句子之间的关系转换为图结构,然后在图结构上使用PageRank或者HITS等图挖掘算法,然后通过迭代运算找到权重最高的句子,并按照权重高低输出句子作为摘要。

3.句子图

3是把一篇包含5个句子的文档转换为图结构的示意图。每个句子是图中的一个节点,节点之间的边代表句子之间的语义相似性,用权值大小来表示,传统的方法是采用两个句子的TFIDF相似性来计算相似度,构造好图结构后,按照HITS算法思路迭代计算,最后每个节点会有最后的得分,按照得分高低输出句子即可。

我们对HITS的改造体现在如何计算两个句子节点形成的边上,传统方法是采用TFIDF方法,我们考虑用两个句子的Word Embedding计算两个句子的相似性,就是同样用字的Word Embedding叠加形成句子的Word Embedding,然后通过Cosine距离来作为边的权值。改进思路也比较简单。这种改进的核心思想是:传统TFIDF计算句子相似性的时候,并不是语义级别的计算,而是字面的计算,但是如果采用Word Embedding,那么假设两个句子分别出现“计算机”和“电脑”,按照TFIDF是没有相似性得分的,但是按照Word Embedding是能够体现这种字面不匹配但是语义匹配的情况的。也即是这是语义级别的相似性计算。

|实验效果

我们使用的测试数据是哈工大的中文文本摘要数据集,根据这个数据集合,分别针对上文提出的基于字Word Embedding叠加的方式构造的文本摘要系统以及针对HITS提出的改进模型做了实验,实验结果如下:

 1 . 基于字向量叠加的文本摘要系统(段首句段尾句加大权重)

2.基于HITS语义改造模型的文本摘要系统

由此可见,尽管字向量叠加的文本摘要方式实现思路非常简单,但是与目前较好的HITS类方法比效果也还是不错的。对于HITS来说,经过语义改造的方法与TFIDF计算边的方法相比,效果并没有明显提升,效果基本相当,这个我也没想明白是什么原因,因为按照简单思考,这种方式看上去应该比TFIDF效果好才对。

我们与现有发表论文中使用了同一测试集合的文摘工作进行了对比,具体而言,参考的是谢浩在论文“基于段落-句子互增强的自动文摘算法”中的实验数据,在论文中,提到了使用LexRank这一目前标准对比方法以及谢浩提出的改进的句子-段落增强的方法。两种方法的实验数据如下:

其中LexRank实验结果如下表:

  表 3 基于LexRank的自动文摘摘要结果统计表

另外一种提出改进的句子-段落增强的方法实验结果统计如下表:

表4 基于句子-段落增强方法文摘摘要结果统计表

从对比实验可以看出,虽然这种实现起来非常简单的文本摘要系统思路简洁,但是在效果方面比起目前State-of-art的实现相对较复杂的LexRank或者HITS类思路来说,效果基本相当,但是因为其实现方法简单,甚至比最简单的传统的TFIDF类摘要实现起来还要方便,所以是一种非常具备实用价值的文本摘要工具。


原文地址:http://blog.csdn.net/malefactor/article/details/51264244author: 张俊林,黄通文,薛会萍


推荐阅读
author-avatar
手机用户2502872807
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有