搜索引擎判定相似文章网页的原理大解析

在上一篇文章中已经详细的介绍了利用TF-IDF算法自动提取文章关键词的原理。接下来，我们再来研究一下另一个相关的问题。这个问题也是我们做SEO的最关心的，有些时候，我们除了要明白如何找到并提取文章关键词，我们还需要找到与原文章相似的其他文章。比如，我们平时在搜索引擎的新闻栏目下搜索某条新闻的时候，在主新闻下方，还提供了多条相似的新闻。如下图所示：

为了找出相似的文章，我们就需要用到另外一个公式原理了，那就是“余弦相似性（cosine similiarity）”。

一、什么是"余弦相似性"？

余弦相似性是指通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1;并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。在比较过程中，向量的规模大小不予考虑，仅仅考虑到向量的指向方向。余弦相似度通常用于两个向量的夹角小于90°之内，因此余弦相似度的值为0到1之间。

值得注意的是余弦相似度可以用在任何维度的向量比较中，它尤其在高维正空间中的利用尤为频繁。例如在信息检索中，每个词条拥有不同的度，一个文档是由一个由有权值的特征向量表示的，权值的计算取决于词条在该文档中出现的频率。余弦相似度因此可以给出两篇文档其主题方面的相似度。

二、搜索引擎是如何判定相似文章的？

下面，马海祥还是以举例子的方式来说明如何才能找出相似文章？

为了简单起见，我们先从句子着手。

句子A：我喜欢看电视，不喜欢看电影。

句子B：我不喜欢看电视，也不喜欢看电影。

那么我们怎样才能计算出上面两句话的相似程度呢？

马海祥建议的基本思路是：如果这两句话的用词越相似，它们的内容就应该越相似。因此，可以从词频入手，计算它们的相似程度。

第1步：分词

句子A：我/喜欢/看/电视，不/喜欢/看/电影。

句子B：我/不/喜欢/看/电视，也/不/喜欢/看/电影。

第2步：列出所有的词

我，喜欢，看，电视，电影，不，也。

第3步：计算词频

句子A：我 1，喜欢 2，看 2，电视 1，电影 1，不 1，也 0。

句子B：我 1，喜欢 2，看 2，电视 1，电影 1，不 2，也 1。

第4步：写出词频向量

句子A：[1, 2, 2, 1, 1, 1, 0]

句子B：[1, 2, 2, 1, 1, 2, 1]

到这里，问题就变成了如何计算这两个向量的相似程度。

我们可以把它们想象成空间中的两条线段，都是从原点（[0, 0, ...]）出发，指向不同的方向。两条线段之间形成一个夹角，如果夹角为0度，意味着方向相同、线段重合；如果夹角为90度，意味着形成直角，方向完全不相似；如果夹角为180度，意味着方向正好相反。因此，我们可以通过夹角的大小，来判断向量的相似程度。夹角越小，就代表越相似，如下图所示：