机器学习（3）文本特征提取

中文文本特征提取&＃xff1a; 对文本数据进行特征值化&＃xff08;转换成特征向量&＃xff09;&＃xff0c;主要有两个API来实现 CountVectorizer 和 TfidfVectorizer

sklearn.feature_extraction.text


CountVectorizer&＃xff1a;

• 只考虑词汇在文本中出现的频率

TfidfVectorizer&＃xff1a;

• 除了考量某词汇在文本出现的频率&＃xff0c;还关注包含这个词汇的所有文本的数量
• 能够削减高频没有意义的词汇出现带来的影响, 挖掘更有意义的特征

相比之下&＃xff0c;文本条目越多&＃xff0c;Tfidf的效果会越显著

1 CountVectorizer
1.1 API

sklearn.feature_extraction.text.CountVectorizer(stop_words&＃61;[])# 返回词频矩阵
CountVectorizer.fit_transform(X)# 文本或包含文本字符串的可迭代对象&＃xff0c;返回&＃xff1a;spare矩阵
CountVectorizer.inverse_transform(X)# X&＃xff1a;array数组或者sparse矩阵&＃xff0c;返回值&＃xff1a;转换之前数据格式
CountVectorizer.get_feature_names()# 返回单词列表


1.2 适用于英文&＃xff0c;而对于中文文本&＃xff0c;语言之间没有分隔&＃xff0c;人为的将中文句子断开显得不实用。

def count_demo():"""文本特征抽取&＃xff1a;CountVectorizer:return:"""data &＃61; ["Life is short,i like like python", "Life is too long,i dislike python"]# 1、实例化一个转换器# transfer &＃61; CountVectorizer(sparse &＃61; False)# 错误用法&＃xff0c;CountVectorizer中就没有这个设置# transfer &＃61; CountVectorizer(stop_words &＃61; ["is", "like"])# 停用词transfer &＃61; CountVectorizer()# 2、调用fit_transformdata_new &＃61; transfer.fit_transform(data)print("特征名字&＃xff1a;\n", transfer.get_feature_names())# print("data_new:\n", data_new, type(data_new))print("data_new:\n", data_new.toarray())return None


def count_chinese_demo():"""中文文本特征抽取&＃xff1a;CountVectorizer:return:"""data &＃61; ["我 爱 北京 天安门", "天安门 上太阳升"]# 1、实例化一个转换器# transfer &＃61; CountVectorizer(sparse &＃61; False)# 错误用法&＃xff0c;CountVectorizer中就没有这个设置transfer &＃61; CountVectorizer()# 2、调用fit_transformdata_new &＃61; transfer.fit_transform(data)print("特征名字&＃xff1a;\n", transfer.get_feature_names())# print("data_new:\n", data_new, type(data_new))print("data_new:\n", data_new.toarray())return None


1.3 可以先对中文语句进行分词&＃xff0c;再进行统计。

def cut_word(text):"""进行中文分词:param text::return:"""a &＃61; " ".join(list(jieba.cut(text)))# list列表化&＃xff0c;# print(a)return " ".join(list(jieba.cut(text)))return text
def count_chinese_demo2():"""中文文本特征抽取2:return:"""data &＃61; ["后天我即将要去往外地工作&＃xff0c;不知道未来过的怎么样&＃xff0c;祝福自己&＃xff0c;祝福家人。","再见了科大计算机的每一位同学&＃xff0c;我会想念你们"]data_new &＃61; []for sent in data:data_new.append(cut_word(sent))print(data_new)# 1、实例化一个转换器transfer &＃61; CountVectorizer(stop_words&＃61;["一个", "所以"])# 2、调用fit_transformdata_final &＃61; transfer.fit_transform(data_new)print("data_new:\n", data_final.toarray())print("特征名字&＃xff1a;\n", transfer.get_feature_names())return None


2 Tf-idf文本特征提取

• TF-IDF的主要思想是&＃xff1a;如果某个词或短语在一篇文章中出现的概率高&＃xff0c;并且在其他文章中很少出现&＃xff0c;则认为此词或者短语具有很好的类区分能力&＃xff0c;适合用来分类。
• TF-IDF作用&＃xff1a;用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

2.1 公式&＃xff1a;

• 词频&＃xff08;term frequency&＃xff0c;tf&＃xff09;指的是某一个给定的词语在该文件中出现的频率。
• 逆向文档频率&＃xff08;inverse document frequency&＃xff0c;idf&＃xff09;是一个词语普遍重要性的度量。某一特定词语的idf&＃xff0c;可以由总文件数目除以包含该词语之文件的数目&＃xff0c;再将得到的商取以10为底的对数得到。
  tfidf &＃61; tf * idf
  
  例&＃xff1a;
  1000篇文章-语料库
  100篇-“非常”
  10篇-“经济”
  两篇文章A&B
  A&＃xff08;100词&＃xff09;&＃xff1a;10次“经济” Tf-idf&＃xff1a;0.2&＃xff08;更重要&＃xff09;
  tf&＃xff1a;10/100 &＃61; 0.1
  idf&＃xff1a;lg 1000/10 &＃61; 2
  B&＃xff08;100词&＃xff09;&＃xff1a;10次“非常” Tf-idf&＃xff1a;0.1
  tf&＃xff1a;10/100 &＃61; 0.1
  idf&＃xff1a;lg 1000/100 &＃61; 1

2.2 API

sklearn.feature_extraction.text.TfidfVertorizer(stop_words &＃61; None,...)
TfidfVertorizer.fit_transform(X)# X:文本或者包含文本字符串的可迭代对象&＃xff0c;返回&＃xff1a;sparse矩阵
TfidfVertorizer.inverse_transform(X)# X:array数组或者sparse矩阵&＃xff0c;返回&＃xff1a;转换之前数据格式
TfidfVertorizer.get_feature_names()# 返回&＃xff1a;单词列表


2.3 代码

def tfidf_demo():"""用TF-IDF方法进行文本特征抽取:return:"""data &＃61; ["后天我即将要去往外地&＃xff0c;不知道那里怎么样&＃xff0c;祝福自己&＃xff0c;祝福家人。","再见了科大计算机的每一位同学&＃xff0c;我会想念你们"]data_new &＃61; []for sent in data:data_new.append(cut_word(sent))# print(data_new)# 1、实例化一个转换器transfer &＃61; TfidfVectorizer(stop_words&＃61;["一个", "所以"])# 2、调用fit_transformdata_final &＃61; transfer.fit_transform(data_new)print("data_new:\n", data_final.toarray())print("特征名字&＃xff1a;\n", transfer.get_feature_names())return None