我的主业是互联网运营&＃xff0c;业余的python爱好者&＃xff0c;学习python已经快两年&＃xff0c;主攻网络爬虫与数据分析&＃xff0c;爬虫能使用代理ip、打码平台、OCR识别、基本的js逆向处理反爬&＃xff1b;数据分析主要使用pandas与pyecharts进行可视化&＃xff0c;我的部分案例&＃xff1a;
但数据存在的终极意义也许并非在最后的可视化&＃xff0c;而在于利用大数据进行预测&＃xff0c;为运营决策提供帮助&＃xff0c;因此萌生学习机器学习的念头&＃xff0c;我会在此记录我学习sklearn的整个过程&＃xff0c;用自己的理解与思路进行记录&＃xff0c;希望能帮到和我一样的小白&＃xff0c;也给自己做个备忘录。我会在公众号&＃xff1a;新青年TALKS&＃xff0c;同步更新。
一、字典特征抽取
提供一个简单的字典数据&＃xff1a;
measurements &＃61; [{&＃39;city&＃39;:&＃39;Beijing&＃39;,&＃39;temperature&＃39;:33.},{&＃39;city&＃39;:&＃39;London&＃39;,&＃39;temperature&＃39;:12.},{&＃39;city&＃39;:&＃39;San Fransisco&＃39;,&＃39;temperature&＃39;:18.}]
sklearn提供方法&＃xff1a;DictVectorizer
使用方式也非常简单&＃xff1a;
from sklearn.feature_extraction import DictVectorizer
dv &＃61; DictVectorizer()
dv_fit &＃61; dv.fit_transform(measurements)
print(dv_fit)
fit_transform()可以理解为将数据根据抽取方式转换成计算机识别的东西。
它其实是个数组&＃xff0c;为了节省内存sklearn将其转为此种格式。我们可以使用toarray()将其转为ndarray&＃xff1a;
使用get_feature_names()可以查看具体特征名&＃xff1a;
print(dv.get_feature_names())
print(dv_fit.toarray())
这本质上使用的是one-hot编码&＃xff0c;one hot编码是将类别变量转换为机器学习算法易于利用的一种形式的过程。简单来说&＃xff0c;就是我将所有特征名称列出来&＃xff0c;有这一项的标记1&＃xff0c;没有就为0。在此之前&＃xff0c;我在使用pyecharts绘制热力图时也用过类似方式&＃xff0c;下面是示例&＃xff1a;
df["注册时间"] &＃61; pd.to_datetime(df["注册时间"])
week &＃61; df["注册时间"].dt.weekday #转成周几
time &＃61; df["注册时间"].dt.hour # 转成小时
bp &＃61; pd.DataFrame({&＃39;week&＃39;:week.tolist(),&＃39;time&＃39;:time.tolist()}) #按周几和时间重建DataFrame
data &＃61; pd.DataFrame({&＃39;count&＃39; : bp.groupby( [&＃39;week&＃39;,&＃39;time&＃39;] ).size()}).reset_index() # 统计每天不同时间点注册人数
new_data &＃61; pd.DataFrame(index&＃61;[i for i in range(24)],columns&＃61;[i for i in range(7)]).fillna(0)# 新建空表&＃xff0c;将已有数据填充进去&＃xff0c;没有的则为0
# print(data)
for i,j,c in zip(data[&＃39;time&＃39;].tolist(),data[&＃39;week&＃39;].tolist(),data[&＃39;count&＃39;].tolist()):new_data.iloc[i,j]&＃61;c# 有数据的定位修改数值
# print(new_data)
values &＃61; [[i, j, int(new_data.iloc[i, j])] for i in range(24) for j in range(7)]# 将完整数据表转为坐标形式
# print(values)
其他在此不做延申。
二、文本特征抽取
语法上与字典特征抽取类似&＃xff0c;只是调用方式不同&＃xff1a;
from sklearn.feature_extraction.text import CountVectorizer
data &＃61; ["i love python,life is so shot","i dislike python,life is too long"]
cv &＃61; CountVectorizer()
data_fit &＃61; cv.fit_transform(data)
print(cv.get_feature_names())
print(data_fit.toarray())
这种方式本质上是对词频统计&＃xff0c;根据词出现的次数判断本文的情感倾向等。可以尝试在文本内多加一个"is"看下结果。
三、中文文本特征抽取
自己尝试放入中文文本&＃xff0c;进行词频统计&＃xff0c;会发现它是根据空格来进行统计的&＃xff0c;所以中文文本需要进行分词&＃xff0c;目前比较好用的就是jieba。
具体使用方式可跳到官方文档&＃xff1a;fxsjy/jieba
- 这里准备了一份word文档&＃xff0c;这更符合日常需求&＃xff0c;所以需要先安装python读取word文档的模块&＃xff1a;
from docx import Document
document &＃61; Document(&＃39;企业遇到“商标流氓”怎么办&＃xff1f;.docx&＃39;)
text &＃61; []
for paragraph in document.paragraphs:text.append(paragraph.text)
说明&＃xff1a;这里为了演示方便将文本写入了列表&＃xff0c;但在实际应用中并不可取&＃xff0c;会消耗更多内存。
import jieba
data &＃61; jieba.cut(str(text)) #返回的是生成器
data &＃61; list(data) #转成列表
data &＃61; &＃39; &＃39;.join(data) #用空格分隔
注意&＃xff1a;分词工具返回的是生成器&＃xff0c;需要转成迭代器并用空格分隔词语&＃xff0c;并且docx库读取出来的文本编码格式好像有点问题&＃xff0c;需要强转成str
from sklearn.feature_extraction.text import CountVectorizer
cv &＃61; CountVectorizer()
cv.fit_transform([data])
说明&＃xff1a;.fit_transform()需要传入列表
这种词频统计的方式判断文章类型其实并不准确&＃xff0c;因为很多文章有很多连接词&＃xff0c;是没有实际影响力的&＃xff0c;所以有更好的方式&＃xff1a;tfidf[1]
TF-IDF&＃xff08;term frequency–inverse document frequency&＃xff09;是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)&＃xff0c;IDF是逆文本频率指数(Inverse Document Frequency)。
简单来说就是计算每个词的权重。
- 同样是上面的文章&＃xff0c;我们来计算每个词的权重&＃xff08;完整代码&＃xff09;&＃xff1a;
from sklearn.feature_extraction.text import TfidfVectorizer
from docx import Document
import jieba
document &＃61; Document(&＃39;企业遇到“商标流氓”怎么办&＃xff1f;.docx&＃39;)
text &＃61; []
for paragraph in document.paragraphs:text.append(paragraph.text)
data &＃61; jieba.cut(str(text))
data &＃61; list(data)
data &＃61; &＃39; &＃39;.join(data)
# cv &＃61; CountVectorizer()
# cv.fit_transform([data])
tfidf &＃61; TfidfVectorizer()
tf_idf &＃61; tfidf.fit_transform([data])
word &＃61; tfidf.get_feature_names()
weight &＃61; tf_idf.toarray()
for i in range(len(weight)):#打印每类文本的tf-idf词语权重&＃xff0c;第一个for遍历所有文本&＃xff0c;第二个for遍历某一类文本下的词语权重for j in range(len(word)):print (word[j],weight[i][j])
说明&＃xff1a;为了更好演示&＃xff0c;我将词与该词权重放在一起观察&＃xff0c;也就是最后两个for循环。
数值越大表示权重越高。
以上就是关于文本特征抽取的内容&＃xff0c;目前还在学习当中。
参考
- ^https://baike.baidu.com/item/tf-idf
京公网安备 11010802041100号