Fasttext快速文本分类

Fasttext源于2016年的论文《Bag of Tricks for Efficient Text Classification》&＃xff0c;论文地址&＃xff1a;https://arxiv.org/pdf/1607.01759.pdf。论文非常短&＃xff0c;加上References不过五页&＃xff0c;Model architecture只有一页。

深度学习神经网络在自然语言处理中表现非常优秀&＃xff0c;但动辄几十层&＃xff0c;上亿参数的大型网络速度慢且需要大量算力支持&＃xff0c;限制了使用场景。FastText是Facebook开源的一款简单而高效的文本分类器&＃xff0c;它使用浅层的神经网络实现了word2vec以及文本分类功能&＃xff0c;效果与深层网络差不多&＃xff0c;节约资源&＃xff0c;且有百倍的速度提升&＃xff0c;可谓高效的工业级解决方案。本篇将介绍Fasttext的相关概念、原理及用法。

BOW

BOW是词袋Bag of Words的简称&＃xff0c;BOW是文本分类中常用的文本向量化的方法&＃xff0c;它忽略了顺序和语法&＃xff0c;将文本看成词汇的集合&＃xff0c;且词汇间相互独立&＃xff0c;如同把词放进了一个袋子。在分类任务中使用BOW时&＃xff0c;就是根据各个词义综合分析文本的类型&＃xff0c;常用于感情色彩分类等领域。

CBOW

CBOW是连续词袋模型Continuous Bag-of-Word Model的简称&＃xff0c;它常用于上下文词来预测中间词。

如图所示&＃xff0c;使用前两个和后两个词&＃xff08;共C&＃61;4个&＃xff09;预测中间的词w&＃xff0c;其中每个词被映射成V维的词向量&＃xff1b;每个词向量乘以参数矩阵A(VN维矩阵)&＃xff0c;转换成N维数据&＃xff0c;然后将所有词对应的N维的数据相加取均值&＃xff0c;计算出N维的隐藏层Hidden&＃xff1b;再用隐藏层乘参数矩阵B(NV维)&＃xff0c;计算待预测的词w对应的V维词向量&＃xff1b;最终用预测出的w与真实的w作比较计算误差函数&＃xff0c;然后用梯度下降调整A,B两个参数矩阵。由此&＃xff0c;使用简单的神经网络就完成了预测任务。

N-gram

N-gram是由N个token&＃xff08;词&＃xff09;组成的有序集合&＃xff0c;常用的有Bi-gram (N&＃61;2)和Tri-gram (N&＃61;3)&＃xff0c;实际使用中2或3-gram就够用了。Fasttext论文中使用Bi-gram将文本拆成词对。

如I love deep learning可拆成&＃xff1a;
Bi-gram : {I, love}, {love, deep}, {deep, learning}
Tri-gram : {I, love, deep}, {love, deep, learning}

这样使一个词它之前的词建立联系。
以Bi-gram为例&＃xff0c;Wn-1出现时&＃xff0c;Wn出现的概率是&＃xff1a;

其中C()表示计数&＃xff0c;N-gram技术在自然语言处理中广泛使用。

在文本分类问题中&＃xff0c;早期的算法一般将词袋BOW作为输入&＃xff0c;使用线性模型作为算法计算类别&＃xff0c;这种方法在类别不均衡时效果不好&＃xff0c;后来用将线性分类器分解为低秩矩阵或者多层网络的方法解决这一问题。

FastText与CBOW结构类似&＃xff0c;如下图所示&＃xff1a;

其中输入是文档中的词&＃xff0c;使用词嵌入方法&＃xff0c;和CBOW一样&＃xff0c;通过乘A矩阵转换到Hidden&＃xff0c;再乘B矩阵转换到输出层&＃xff0c;与CBOW不同的是它的输出不是空缺的单词&＃xff0c;而是分类的类别。

FastText用负对数似然作为损失函数&＃xff1a;

其中N是文档数&＃xff0c;xn是文档中的词特征。yn是标签&＃xff0c;A和B是权重矩阵&＃xff0c;A用于转换到文本表示&＃xff0c;B用于线性变换计算类别&＃xff0c;f是一个softmax函数用于计算最终分类的概率。

当分类的类别较多时&＃xff0c;计算的时间复杂度是O(hk)&＃xff0c;其中k是类别的个数&＃xff0c;h是文本表示的维度。Fasttext使用了基于霍夫曼编码树的分级softmax&＃xff0c;使训练的时间复杂度降为O(hlog2(k))。每一个节点的概率大小与从树根到该节点经过的路径有关&＃xff0c;例如某节点深度为l&＃43;1&＃xff0c;它的父节点分别是n1…n2&＃xff0c;则它的概率是&＃xff1a;

这就意味着&＃xff0c;节点的概率小于它父节点的概率&＃xff0c;因此访问树时&＃xff0c;就可以忽略概率小的分枝。如果只需预测取前TopN&＃xff0c;则复杂度可降至O(log(TopN))。

下面列出了FastText与深度学习模型的速度比较&＃xff0c;可以看到&＃xff0c;其提速非常明显。

个人感觉&＃xff0c;层次少的好处不只在于运算速度快&＃xff0c;而且更容易归因&＃xff0c;定位重要特征&＃xff0c;以及估计对应的权重&＃xff0c;不像深度网络的数据都散布在各层的节点之中。

安装

$ pip install fasttext


训练和预测

数据格式为&＃xff1a;label标签 , 已经分词的文档&＃xff08;注意&＃xff1a;label两边都需要又下划线&＃xff09;

如下例所示&＃xff1a;

import fasttext
def train(): # 训练模型model &＃61; fasttext.train_supervised("train.txt", lr&＃61;0.1, dim&＃61;100,epoch&＃61;5, word_ngrams&＃61;2, loss&＃61;&＃39;softmax&＃39;)model.save_model("model_file.bin")def test(): # 预测classifier &＃61; fasttext.load_model("model_file.bin")result &＃61; classifier.test("test.txt")print("准确率:", result)with open(&＃39;test.txt&＃39;, encoding&＃61;&＃39;utf-8&＃39;) as fp:for line in fp.readlines():line &＃61; line.strip()if line &＃61;&＃61; &＃39;&＃39;:continueprint(line, classifier.predict([line])[0][0][0])if __name__ &＃61;&＃61; &＃39;__main__&＃39;:train()test()


资料

建议下载源码&＃xff1a;
https://github.com/facebookresearch/fastText#

更详细的用法示例请见&＃xff1a;
https://github.com/facebookresearch/fastText#example-use-cases