NLP篇【01】tfidf与bm25介绍与对比

上一篇&＃xff1a;自然语言处理【NLP】遇上电商——专栏导读

下一篇&＃xff1a;NLP篇【02】白话Word2vec原理以及层softmax、负采样的实现

词频&＃xff08;TF&＃xff09; &＃61; 某个词在文章中的出现次数 / 文章总词数&＃xff0c;逆文档频率&＃xff08;IDF&＃xff09; &＃61; log&＃xff08;语料库的文章总数/包含该词的文章总数&＃43;1&＃xff09;&＃xff0c;tfidf&＃61;tf*idf。举个例子一下子就明白了。如语料库包含以下三篇文章&＃xff08;什么是语料库可百度&＃xff09;&＃xff1a;

第一篇&＃xff1a;张一山与杨紫疑似相恋

第二篇&＃xff1a;C罗又一次完成了帽子戏法&＃xff0c;这就是足球的魅力

第三篇&＃xff1a;恭喜TES创历史记录&＃xff0c;在s10的世界总决赛上完成了让二追三

首先是对每篇文章进行分词且过滤停用词得doc_lis&＃61;[[张一山&＃xff0c;...&＃xff0c;相恋]&＃xff0c;[C罗&＃xff0c;...&＃xff0c;魅力]&＃xff0c;[恭喜&＃xff0c;...&＃xff0c;让二追三]]&＃xff0c;然后依次计算每个词的tfidf。TF(张一山)&＃61;1/4(“与”作为停用词过滤掉了所以是4)  IDF(张一山)&＃61;log(3/1&＃43;1)&＃xff0c;所以tfidf&＃61;TF*IDF&＃61;1/4*log3/2&＃61;0.25*0.405&＃61;0.1&＃xff0c;按照这个方式依次计算就能得到所有词的tfidf&＃xff0c;最终的结果如下表&＃xff1a;

这张表的shape应该&＃xff08;总词数&＃xff0c;总文章数&＃xff09;&＃xff0c;因此tfidf的应用可以有&＃xff1a;1、文章关键词提取&＃xff08;可以提取tfidf值前几个作为关键词&＃xff09;2、文章分类&＃xff0c;这个矩阵直接输入到项lsvm&＃xff0c;lr等模型&＃xff08;当然要打好label&＃xff09;3、用LDA或SVD进行降维&＃xff08;为什么要降维&＃xff0c;因为语料库的总词数是非常多的&＃xff0c;所以每篇文章的向量是非常稀疏的&＃xff09;&＃xff0c;再当做文章的embeding  4、把tfidf或idf值当做每个词的权重

tfidf算法的优点&＃xff1a;简单&＃xff0c;快速&＃xff0c;如果语料库是不变的话&＃xff0c;可以提前离线计算好语料库中所有词的tfidf值&＃xff08;这在实际应用中非常重要的&＃xff0c;后面有这个应用的举例&＃xff09;

缺点&＃xff1a;1、仅以“词频”度量词的重要性&＃xff0c;后续构成文档的特征值序列&＃xff0c;词之间各自独立&＃xff0c;无法反映序列信息 2、tfidf得到是一个稀疏而庞大的矩阵&＃xff0c;需要采用降维方式&＃xff0c;才方便做后续的文本任务&＃xff0c;而降维可能会损失一些信息&＃xff0c;同时降维的也会提高模型的复杂度&＃xff0c;而失去了原本快速的优点 3、tfidf得到的embedings再输入后续的模型&＃xff0c;做文本分类、文本匹配等任务&＃xff0c;在效果上通常会差于采用词向量模型训练得到的embedding。

bm25 是一种用来评价搜索词和文档之间相关性的算法&＃xff0c;用简单的话来描述下bm25算法&＃xff1a;我们有一个query和一批文档Ds&＃xff0c;现在要计算query和每篇文档D之间的相关性分数。这种场景的应用就有很多&＃xff1a;1、电商中计算搜索词query与商品的之间的相关性 2、知乎搜索中搜索词query与回答之间的相关性 3、匹配式智能客服中&＃xff0c;用户问题与答案之间的相关性等。那bm25算法是怎样计算query与文档之间的相关性的呢&＃xff1f;BM25算法计算相关性的一般性公式如下&＃xff1a;

其中&＃xff0c;Q表示Query&＃xff0c;qi表示Q分词之后的每个单词&＃xff1b;d表示一个文档&＃xff1b;Wi表示词qi的权重&＃xff1b;R(qi&＃xff0c;d)表示词qi与文档d的相关性得分。所以query中每个词与文档的相关性的加权和就是query与文档的相关性得分。而求query中每个词的权重就可以使用上面所讲的tfidf&＃xff0c;但常常只用idf&＃xff08;后面会讲为什么只用idf的原因&＃xff09;&＃xff0c;而这里采用idf的公式为&＃xff1a;

其中n(qi)是文档包含词qi的文档数&＃xff0c;N是文档总数&＃xff0c;和上面的idf计算公式有点不同&＃xff0c;但思路是相同的。而求R(qi&＃xff0c;d)的公式为如下&＃xff1a;

其中&＃xff0c;k1&＃xff0c;b为调节因子&＃xff0c;通常根据经验设置&＃xff0c;一般k1&＃61;2&＃xff0c;b&＃61;0.75&＃xff1b;fi为qi在d中的出现频率&＃xff0c;dl为文档d的长度&＃xff0c;avgdl为所有文档的平均长度。总的来讲就是R(qi&＃xff0c;d)与这个词在该文档中出现的频率呈正相关&＃xff0c;与该文档的长度呈负相关。最终Score(Q,d)的公式为&＃xff1a;

同样下面我举例计算一下&＃xff0c;同样假如有三个文档如下&＃xff1a;

第一篇&＃xff1a;张一山与杨紫疑似相恋

第二篇&＃xff1a;C罗又一次完成了帽子戏法&＃xff0c;这就是足球的魅力

第三篇&＃xff1a;恭喜TES创历史记录&＃xff0c;在s10的世界总决赛上完成了让二追三

用户输入的query是“足球相关新闻”&＃xff0c;下面我来计算一下和哪篇最相关。首先分此后query&＃61;[足球&＃xff0c;相关&＃xff0c;新闻]

第一篇中&＃xff1a;idf(足球)&＃61;log(3-0&＃43;0.5)/(0&＃43;0.5)&＃xff0c;idf(相关)&＃61;log(3-0&＃43;0.5)/(0&＃43;0.5)&＃xff0c;idf(新闻)&＃61;log(3-0&＃43;0.5)/(0&＃43;0.5)

                  R(足球&＃xff0c;第一篇)&＃61;0*(2&＃43;1)/(0&＃43;K)&＃61;0&＃xff0c;R(相关&＃xff0c;第一篇)&＃61;0&＃xff0c;R(新闻&＃xff0c;第一篇)&＃61;0&＃xff0c;所以

                  Score(“足球相关新闻”,第一篇)&＃61;0

同理可以计算和第二篇的相似性得分&＃xff0c;最终可以发现和第二篇相似性得分最高。

下面我就解释下只用idf做权重的原因&＃xff1a;

写成这样Score(Q,d)&＃61;

bm25的算法的优缺点&＃xff1a;

优点&＃xff1a;可以方便线下做离线先计算好文档中出现的每一个词的idf并保存为一个字典&＃xff0c;当用户搜了一个query&＃xff0c;直接分词然后查字典就能得到这个词的idf&＃xff0c;如果字典中没有idf值无意义&＃xff0c;因为R&＃61;0。同于tfidf。

缺点&＃xff1a;同于tfidf