CountVectorizer

CountVectorizer

关于文本特征提取&＃xff0c;前面一篇文章TF-IDF介绍了HashingTF&＃xff0c;本文将再介绍一种Spark MLlib的API CountVectorizer。

CountVectorizer 和 CountVectorizerModel 旨在帮助将文本文档集合转化为频数向量。当先验词典不可用时&＃xff0c;CountVectorizer可以用作Estimator提取词汇表&＃xff0c;并生成一个CountVectorizerModel。该模型会基于该字典为文档生成稀疏矩阵&＃xff0c;该稀疏矩阵可以传给其它算法&＃xff0c;比如LDA&＃xff0c;去做一些处理。

在拟合过程中&＃xff0c;CountVectorizer会从整个文档集合中进行词频统计并排序后的前vocabSize个单词。

一个可选参数minDF也会影响拟合过程&＃xff0c;方法是指定词汇必须出现的文档的最小数量&＃xff08;或小于1.0&＃xff09;。另一个可选的二进制切换参数控制输出向量。如果设置为true&＃xff0c;则所有非零计数都设置为1.这对于模拟二进制计数而不是整数计数的离散概率模型特别有用。

举例说明该算法

假如我们有个DataFrame有两列&＃xff1a;id和texts。

每一行texts都是一个Array [String]类型的文档。使用字典&＃xff08;A&＃xff0c;B&＃xff0c;C&＃xff09;调用CountVectorizer产生CountVectorizerModel。然后转换后的输出列“向量”包含

vector列&＃xff1a;

将两篇文档中的词去重后就组成了一个字典&＃xff0c;这个字典中有3个词&＃xff1a;a,b,c,分别建立索引为0,1,2. 
在第三列的文档向量&＃xff0c;是由基于字典的索引向量&＃xff0c;与对应对索引的词频向量所组成的。 
文档向量是稀疏的表征&＃xff0c;例子中只有3个词可能感觉不出&＃xff0c;在实际业务中&＃xff0c;字典的长度是上万&＃xff0c;而文章中出现的词可能是几百或几千&＃xff0c;故很多索引对应的位置词频都是0.

spark中的源码

导包

import org.apache.spark.ml.feature.{CountVectorizer, CountVectorizerModel}

准备数据

val df &＃61; spark.createDataFrame(Seq(
 (0, Array("a", "b", "c")),
 (2, Array("a", "b", "c", "c", "a"))
)).toDF("id", "words")

从全文集中拟合CountVectorizerModel&＃xff08;自动计算字典&＃xff09;

val cvModel: CountVectorizerModel &＃61; new CountVectorizer()
 .setInputCol("words")
 .setOutputCol("features")
 .setVocabSize(3)
 .setMinDF(2).fit(df)

查看结果

cvModel.transform(df).show(false)

指定预先字典

val cvm &＃61; new CountVectorizerModel(Array("a", "b", "c"))
.setInputCol("words").setOutputCol("features")

为了避免重复&＃xff0c;重新造一组数据

val df &＃61; spark.createDataFrame(Seq(
 (0, Array("a", "b", "c")),
 (2, Array("a", "b", "c", "c", "a"))
)).toDF("id", "words")

查看结果

cvm.transform(df).show(false)

推荐阅读&＃xff1a;

1&＃xff0c;SparkMLLib中基于DataFrame的TF-IDF

2&＃xff0c;基于DF的Tokenizer分词

3&＃xff0c;案例&＃xff1a;Spark基于用户的协同过滤算法

4&＃xff0c;SparkSql的Catalyst之图解简易版

kafka&＃xff0c;hbase&＃xff0c;spark&＃xff0c;Flink等入门到深入源码&＃xff0c;spark机器学习&＃xff0c;大数据安全&＃xff0c;大数据运维&＃xff0c;请关注浪尖公众号&＃xff0c;看高质量文章。

更多文章&＃xff0c;敬请期待