【一起从0开始学习人工智能0x03】文本特征抽取TfidVectorizer

前几种方法的缺点&＃xff1a;有很多词虽然没意义&＃xff0c;但是出现次数很多&＃xff0c;会影响结果&＃xff0c;有失偏颇------------关键词

TfidVecorizer--------Tf-IDF

思想&＃xff1a;一个词在一篇文章中出现概率高&＃xff0c;但是在其他文章很少出现------------认为这个很适合来分类

TF-IDF------重要程度

TF------------term frequency---------------------词频
IDF------------inverse document frequency----------逆向文档频率

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf_vec &＃61; TfidfVectorizer()
# stop words自定义停用词表&＃xff0c;为列表List类型
# token_pattern过滤规则&＃xff0c;正则表达式&＃xff0c;如r"(?u)bw&＃43;b
# max_df&＃61;0.5&＃xff0c;代表一个单词在 50% 的文档中都出现过了&＃xff0c;那么它只携带了非常少的信息&＃xff0c;因此就不作为分词统计
documents &＃61; [
&＃39;this is the bayes document&＃39;,
&＃39;this is the second second document&＃39;,
&＃39;and the third one&＃39;,
&＃39;is this the document&＃39;
]
tfidf_matrix &＃61; tfidf_vec.fit_transform(documents)
# 拟合模型&＃xff0c;并返回文本矩阵 表示了每个单词在每个文档中的 TF-IDF 值
print(&＃39;输出每个单词在每个文档中的 TF-IDF 值&＃xff0c;向量里的顺序是按照词语的 id 顺序来的:&＃39;, &＃39;\n&＃39;, tfidf_matrix.toarray())
print(&＃39;不重复的词:&＃39;, tfidf_vec.get_feature_names())
print(&＃39;输出每个单词对应的 id 值:&＃39;, tfidf_vec.vocabulary_)
print(&＃39;返回idf值:&＃39;, tfidf_vec.idf_)
print(&＃39;返回停用词表:&＃39;, tfidf_vec.stop_words_)


&＃x1f338;I could be bounded in a nutshell and count myself a king of infinite space.

特别鸣谢&＃xff1a;木芯工作室 、Ivan from Russia