Unsupervisedlearningofsemanticrepresentationfordocumentswiththelawoftotalprobability_...

提取文档的语意信息的意义在于它是很多应用的基础&＃xff0c;例如&＃xff1a;文档总结、检索文档、文本分析等。

现存的方法&＃xff08;通过分析文档包含词相关性来扩充用来表示文档的向量&＃xff09;远不理想的原因是文档的物理限制阻碍了词之间的相关性评估——无法捕获深层的相关性。

为了解决以上问题&＃xff0c;本文通过词和词之间的公相关词来进一步推测它们之间的深层关联&＃xff0c;为了避免高估深层关联本文基于全概率公式来约束深层关系推理——以边缘概率为指标。

BOW&＃xff08;bag of words&＃xff09;被广泛应用的原因是&＃xff1a;简单、有效、表现优秀&＃xff0c;然而词袋模型的缺点是只能作为含有公共词的文档的相似性的指标&＃xff0c;不能反映含有不同词的文档的相似性。

解决以上问题提出了latent topic models被提出&＃xff0c; 常见的如下方法&＃xff1a;

• latent semantic indexing
• latent dirichlet allocation
• doc2vec

基于上面的方法&＃xff0c;文档将被表示为对一定数量主题的分布&＃xff0c;相似的文档的分布也相似。但基于主题分布模型的方法中很多参数&＃xff08;尤其是主题维度&＃xff09;经常难以确定

相比于latent topic models&＃xff0c;统计学文档特征扩充方法基于文档源词与文档语料库中所有词的相关性来构建上下文&＃xff0c;而相关性是根据统计数据得到的&＃xff0c;通常为co-occurrence frequencies&＃xff0c;这样一来BOW产生的稀疏文档特征向量就被扩充为稠密特征向量&＃xff0c;并且这种方法没有像topics models一样的限制。
常用的文档特征扩充方法是Context Vector Model&＃xff08;CVM&＃xff09;&＃xff0c;该方法把和源文档中任意词相关的词判别为文档的相关词&＃xff0c;把在同一篇文档中中共现的词判别为两个词相关。但由于文档的物理限制&＃xff0c;基于这种方法获取词之间的相关性的效果不理想。
为了检测词之间的传递相关性&＃xff08;不能根据co-occurrence frequencies检测&＃xff09;&＃xff0c;条件概率是一个很好的idel&＃xff0c;在这篇文章中把词之间的相关性形式化为条件概率&＃xff0c;这样就可以从理论上推测传递相关性了&＃xff0c;同时基于词边缘概率和全概率为条件的条件概率的关系来避免高估传递相关性。

本文贡献

• 通过词之间的传递相关性来度量文档之间的语意相似性
• 通过最小化以全概率公式为基础获得的边缘概率和以原始的频率为基础获得的边缘概率之间的区别提出了三个度量词之间传递相关性的策略
• 实验表明本文提出的方法比现有最优秀方法有更好的表现

对BOW特征向量的扩充&＃xff0c;已经有很多相关的工作&＃xff0c;根据词和文档之间相关关系的度量方法可以分为两类

• 统计学方法有下面两个步骤&＃xff1a;
  • 1、couting frequencies
  • 2、smoothing functions&＃xff08;PCP、PPMI、Jaccard&＃xff09;
• 以知识库为基础的方法&＃xff0c;常见的有&＃xff1a;
  • WordNet involved Document Representation method
  • Disambiguated Core Semantics method

知识库虽然比共现频率更可靠&＃xff0c;但是往往不匹配或过期

统计学文档特征扩充方法中包含词和文档之间关系的完整词向量由各个部分词向量组合而成。目前这个想法已经运用在了神经网络领域。即神经网络的输入为低维空间词向量用于句子建模的卷积神经网络通过卷积核将这些特征向量组合&＃xff08;DRBM通过RBM组合词向量、WMD通过将计算文档之间距离的问题映射到一个已经被成熟研究的Earth Movers Distance&＃xff09;文章中将上面的方法归类为主题模型

虽然本文的关注点在于如何计算词之间的相关性&＃xff0c;但还是对统计业务流中的某些其他方面进行了提升&＃xff1a;

• 通过S-VSM来避免词向量的过度扩充&＃xff08;仅仅考虑top-k语意相关&＃xff09;
• 提出DDE来组合词向量&＃xff08;对每个维度赋予不同的权重&＃xff09;

表一中展示了本文中用到的符号&＃xff1a;

在BOW中文档集合D中有m个不同的字符&＃xff0c;它们用来构建特征空间&＃xff0c;D中的任意文档&＃xff0c;它的特征向量表示如下&＃xff1a;