Python机器学习(1)——机器学习概述，数据集的基本使用

一、人工智能概述

1.机器学习是人工智能的一个实现途径

2.深度学习是由机器学习的一个方法&＃xff08;人工神经网络&＃xff09;发展而来的

3.机器学习&＃xff0c;深度学习能做什么
传统预测&＃xff0c;图像识别&＃xff0c;自然语言处理

二、什么是机器学习

1.机器学习就是从数据中自动分析获取模型&＃xff0c;并利用模型对未知数据进行预测

2.数据集构成

数据集由特征值和目标值构成&＃xff0c;每一行数据可以称为样本

3.机器学习算法分类

&＃xff08;1&＃xff09;监督学习&＃xff1a;

目标值&＃xff1a;区分类别—分类问题&＃xff08;区分猫和狗&＃xff09;

• k近邻算法&＃xff0c;贝叶斯分类&＃xff0c;决策树与随机森林&＃xff0c;逻辑回归

目标值&＃xff1a;连续性数据—回归问题&＃xff08;预测房价&＃xff09;

• 线性回归&＃xff0c;岭回归

&＃xff08;2&＃xff09;无监督学习&＃xff1a;

• 目标值&＃xff1a;无—无监督学习
• 聚类&＃xff1a;k-means

4.机器学习开发流程

&＃xff08;1&＃xff09;获取数据
&＃xff08;2&＃xff09;数据处理&＃xff08;缺失值等&＃xff09;
&＃xff08;3&＃xff09;特征工程&＃xff08;进一步处理&＃xff0c;处理为特征值&＃xff09;
&＃xff08;4&＃xff09;机器学习算法训练—模型
&＃xff08;5&＃xff09;模型评估

三、特征工程

3.1 数据集

1.可用数据集

公司内部&＃xff0c;政府等有可用数据集
在学习阶段可用的数据集是&＃xff1a;
1&＃xff09;sklearn
2&＃xff09;kaggle
3&＃xff09;UCI&＃xff08;加州大学欧文分校收集的数据集&＃xff09;

我使用的是sklearn数据集&＃xff0c;在下载完成之后可使用

import sklearn


看是否下载成功

2.使用sklearn数据集

import sklearn.datasets
加载获取流行数据集

&＃xff08;1&＃xff09;获取小规模数据集使用load_()
datasets.load_()
&＃xff08;2&＃xff09;获取大规模数据集使用fetch_()
datasets.fetch_(data_home&＃61;None)
需要从网络上下载&＃xff0c;函数的第一个参数是data_home&＃xff0c;表示数据集下载的目录,默认是 ~/scikit_learn_data/

3.sklearn中的小数据集

&＃xff08;1&＃xff09;鸢尾花数据集
调用sklearn.datasets.load_iris()方法&＃xff0c;返回鸢尾花数据集

&＃xff08;2&＃xff09;波士顿房价数据集
调用sklearn.datasets.load_boston()方法&＃xff0c;返回波士顿房价数据集

4.数据集的返回值

使用load和fetch方法返回的数据集的数据类型是datasets.base.Bunch(字典格式)

该字典的key有以下几个

• data&＃xff1a;特征数据数组&＃xff0c;是 [n_samples * n_features] 的二维 numpy.ndarray 数组
• target&＃xff1a;标签数组&＃xff0c;是 n_samples 的一维 numpy.ndarray 数组
• DESCR&＃xff1a;数据描述
• feature_names&＃xff1a;特征名,新闻数据&＃xff0c;手写数字&＃xff08;回归数据集没有&＃xff09;
• target_names&＃xff1a;标签名

由于返回的数据集是字典类型&＃xff0c;因此可以通过dict[key]访问其中的value
也可以通过"."的方式访问其中的属性值

例&＃xff1a;调用sklearn中的鸢尾花数据集并访问其中的属性

&＃39;&＃39;&＃39;
本例演示sklearn数据集的基本使用
&＃39;&＃39;&＃39;
# 从sklearn中导入鸢尾花数据集
from sklearn.datasets import load_iris
def show():# 获取鸢尾花数据集iris &＃61; load_iris()# 查看鸢尾花数据集print("鸢尾花数据集&＃xff1a;")print(iris)print(&＃39;鸢尾花数据集描述&＃xff1a;&＃39;)print(iris[&＃39;DESCR&＃39;])print(&＃39;鸢尾花特征值的名字&＃39;)print(iris.feature_names)print(&＃39;查看特征值&＃39;)print(iris.data)# 查看数组有几行几列print(iris.data.shape)
show()


5.数据集的划分

获取的数据不全部用来训练&＃xff0c;因此获取到的全部数据分为训练集和测试集

机器学习中的数据集一般会分为两个部分

1. 训练集&＃xff1a;用于训练&＃xff0c;构建模型
2. 测试集&＃xff1a;在模型检验时使用&＃xff0c;用于评估模型是否有效

划分的比例&＃xff1a;
训练集&＃xff1a;70%~80%
测试集&＃xff1a;20%~30%

在sklearn中实现数据集的划分

数据集划分使用的方法&＃xff1a;

sklearn.model_selection.train_test_split(arrays, *options)

x 数据集的特征值
y 数据集的标签值
test_size 测试集的大小&＃xff0c;一般为float
random_state 随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
return 测试集特征训练集特征值值&＃xff0c;训练标签&＃xff0c;测试标签(默认随机取)

# 数据集的划分
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split# 获取鸢尾花数据集
iris &＃61; load_iris()
# 对数据集进行划分
x_train, x_test, y_train, y_test &＃61; train_test_split(iris.data,iris.target,test_size&＃61;0.3,random_state&＃61;22)
# 输出训练集和测试集
print(&＃39;x数据集的特征值&＃39;)
print(x_train)
print(x_train.shape)
print(&＃39;y数据集的特征值&＃39;)
print(y_train)
print(y_train.shape)
print(&＃39;x训练集的特征值&＃39;)
print(x_test)
print(x_test.shape)
print(&＃39;y测试集的特征值&＃39;)
print(y_test)
print(y_test.shape)


3.2 特征工程

1.为什么需要特征工程&＃xff1f;
数据和特征决定了机器学习的上限&＃xff0c;而模型和算法只是逼近这个上限而已。特征工程可以帮助我们逼近这个上限

2.什么是特征工程&＃xff1f;
特征工程是使用专业背景知识和技巧处理数据&＃xff0c;使得特征能在机器学习算法上发挥更好的作用的过程。
特征工程可以影响机器学习的效果

3.特征工程包含以下几个内容

• 特征抽取
• 特征预处理
• 特征降维

4.什么是特征提取&＃xff1f;
特征提取是将任意数据&＃xff08;如文本或图像&＃xff09;转换为可用于机器学习的数字特征

三种特征抽取

• 字典特征提取
• 文本特征提取
• 图像特征提取

在机器学习中主要学习字典特征提取和文本特征提取&＃xff0c;在深度学习中学习图像特征提取

5.在sklearn中实现字典特征提取的类

sklearn.feature_extraction


1&＃xff09;字典特征抽取

sklearn.feature_extraction.DictVectorizer(sparse&＃61;True,…)


DictVectorizer是一个转换器类&＃xff0c;里面有相应的方法&＃xff0c;sparse&＃61;True表示默认返回稀疏矩阵

• DictVectorizer.fit_transform(X) X:字典或者包含字典的迭代器返回值&＃xff1a;返回稀疏矩阵&＃xff08;Sparse&＃xff09;
• DictVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格式
• DictVectorizer.get_feature_names() 返回类别名称

一个小例子

&＃39;&＃39;&＃39;
本例演示字典特征抽取
&＃39;&＃39;&＃39;
# 1.导包
from sklearn.feature_extraction import DictVectorizer
# 2.引入数据
data &＃61; [{&＃39;city&＃39;: &＃39;济南&＃39;,&＃39;PM2.5&＃39;:300},{&＃39;city&＃39;: &＃39;天津&＃39;,&＃39;PM2.5&＃39;:60},{&＃39;city&＃39;: &＃39;重庆&＃39;,&＃39;PM2.5&＃39;:50}]
# 3.实例化转换器类
transfer1 &＃61; DictVectorizer()
# 4.调用fit_transform(dict)
data1 &＃61; transfer1.fit_transform(data)
# 打印data1
print(&＃39;data1 &＃61;&＃39;)
&＃39;&＃39;&＃39;
这里打印输出以下的稀疏矩阵&＃xff0c;稀疏矩阵的特点是将矩阵中非0的值打印出来
(0, 0) 300.0
(0, 2) 1.0
(1, 0) 60.0
(1, 1) 1.0
(2, 0) 50.0
(2, 3) 1.0
&＃39;&＃39;&＃39;
print(data1)
# 接下来打印非稀疏矩阵
transfer2 &＃61; DictVectorizer(sparse&＃61;False)
data2 &＃61; transfer2.fit_transform(data)
print(&＃39;data2 &＃61; &＃39;)
&＃39;&＃39;&＃39;
打印输出矩阵&＃xff0c;0表示无数据&＃xff0c;1表示有数据
[[300. 0. 1. 0.][ 60. 1. 0. 0.][ 50. 0. 0. 1.]]
&＃39;&＃39;&＃39;
print(data2)
# 数据矩阵对应的特征名
print(&＃39;特征名字&＃xff1a;&＃39;)
# [&＃39;PM2.5&＃39;, &＃39;city&＃61;天津&＃39;, &＃39;city&＃61;济南&＃39;, &＃39;city&＃61;重庆&＃39;]
print(transfer2.get_feature_names())


2&＃xff09;文本特征抽取

在一篇文章中&＃xff0c;我们可以通过单词&＃xff0c;字母&＃xff0c;短语等作为特征提取的条件

可以使用sklearn库中的如下方法

sklearn.feature_extraction.text.CountVectorizer(stop_words&＃61;[])


stop_words是停用词&＃xff0c;如果我们认为某些词不太重要&＃xff0c;可以将其写入数组并传入参数&＃xff0c;那么系统就会自动忽略这些词的统计

可以对文本进行特征值化&＃xff0c;返回词频矩阵

• CountVectorizer.fit_transform(X) X:文本或者包含文本字符串的可迭代对象 返回值&＃xff1a;返回sparse矩阵
• CountVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格
• CountVectorizer.get_feature_names() 返回值:单词列表

可以使用toarray()方法将sparse矩阵转换为二维数组的形式

&＃39;&＃39;&＃39;
本例演示文本特征抽取
&＃39;&＃39;&＃39;
# 1.导包
from sklearn.feature_extraction.text import CountVectorizer# 2.数据
data &＃61; ["life is is short,i is is like python",
"life is too long python,i dislike dislike python"]# 3.实例化一个转换器
trasfer &＃61; CountVectorizer()
# 4.调用fit_transform方法
newData &＃61; trasfer.fit_transform(data)
# 5.打印输出
print("newData&＃xff1a;")
print(newData.toarray())
# 打印特征名字
print(trasfer.get_feature_names())


输出结果

newData&＃xff1a;
[[0 4 1 1 0 1 1 0][2 1 1 0 1 2 0 1]][&＃39;dislike&＃39;, &＃39;is&＃39;, &＃39;life&＃39;, &＃39;like&＃39;, &＃39;long&＃39;, &＃39;python&＃39;, &＃39;short&＃39;, &＃39;too&＃39;]


3&＃xff09;中文文本特征提取

由于中文的语言特性&＃xff0c;字与字之间不想英文的词与词之间那样有空格&＃xff0c;因此如果直接使用上面的特征提取方式&＃xff0c;会出现一句话合为一个词的效果&＃xff0c;不符合我们的要求

这里使用了中文分词库jieba
首先需要安装jieba库&＃xff0c;可以直接在PyCharm里安装

&＃39;&＃39;&＃39;
本例演示中文文本特征抽取
&＃39;&＃39;&＃39;
# 1.导包
from sklearn.feature_extraction.text import CountVectorizer
import jieba
# 中文分词的方法
def devideWord(text):&＃39;&＃39;&＃39;进行中文分词&＃xff1a;"我爱北京天安门"->”我 爱 北京 天安门“:param text::return:&＃39;&＃39;&＃39;text &＃61; " ".join(list(jieba.cut(text)))return text
# 2.数据
data &＃61; ["在这个世界上&＃xff0c;一星陨落&＃xff0c;黯淡不了星空灿烂&＃xff0c;一花凋零&＃xff0c;荒芜不了整个春天。",
"今天我出去玩了&＃xff0c;玩得很开心"]
data_new &＃61; []
# 3.使用中文分词
for text in data:data_new.append(devideWord(text))
# 4.打印输出分词的结果
print(data_new)
# 5.对分词之后的中文文本进行特征提取
trasfer &＃61; CountVectorizer()
newData &＃61; trasfer.fit_transform(data_new
print("newData&＃xff1a;")
print(newData.toarray())
# 打印特征名字
print(trasfer.get_feature_names())


输出结果

[&＃39;在 这个 世界 上 &＃xff0c; 一星 陨落 &＃xff0c; 黯淡 不了 星空 灿烂 &＃xff0c; 一花 凋零 &＃xff0c; 荒芜 不了 整个 春天 。&＃39;, &＃39;今天 我 出去玩 了 &＃xff0c; 玩得 很 开心&＃39;]
newData&＃xff1a;
[[1 1 2 1 0 1 0 0 1 1 1 1 0 1 1 1 1][0 0 0 0 1 0 1 1 0 0 0 0 1 0 0 0 0]]
[&＃39;一星&＃39;, &＃39;一花&＃39;, &＃39;不了&＃39;, &＃39;世界&＃39;, &＃39;今天&＃39;, &＃39;凋零&＃39;, &＃39;出去玩&＃39;, &＃39;开心&＃39;, &＃39;整个&＃39;, &＃39;星空&＃39;, &＃39;春天&＃39;, &＃39;灿烂&＃39;, &＃39;玩得&＃39;, &＃39;荒芜&＃39;, &＃39;这个&＃39;, &＃39;陨落&＃39;, &＃39;黯淡&＃39;]


4&＃xff09;Tf-idf文本特征抽取&＃xff0c;TfidfVectorizer

使用这种方法&＃xff0c;可以找出在一个文本中哪一个词更重要&＃xff0c;即找到关键词

TF-IDF的作用&＃xff1a;评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

• Tf&＃xff1a;词频&＃xff08;term frequency&＃xff09;&＃xff1a;一个词在文章中出现的频率&＃xff08;出现次数 / 总词数&＃xff09;
• idf&＃xff1a;逆向文档频率&＃xff08;inverse document frequency&＃xff09;&＃xff1a;是一个词语普遍重要性的度量。某一特定词语的idf&＃xff0c;可以由总文件数目除以包含该词语之文件的数目&＃xff0c;再将得到的商取以10为底的对数得到

某个词的Tf-idf &＃61; Tf * idf

API文档

可以使用sklearn库中的如下方法

sklearn.feature_extraction.text.TfidfVectorizer(stop_words&＃61;[])


可以对文本进行特征值化&＃xff0c;返回词频矩阵

• TfidfVectorizer.fit_transform(X) X:文本或者包含文本字符串的可迭代对象 返回值&＃xff1a;返回sparse矩阵
• TfidfVectorizer.inverse_transform(X) X:array数组或者sparse矩阵 返回值:转换之前数据格
• TfidfVectorizer.get_feature_names() 返回值:单词列表

可以使用toarray()方法将sparse矩阵转换为二维数组的形式

&＃39;&＃39;&＃39;
本例演示Tfidf文本特征抽取
&＃39;&＃39;&＃39;
# 1.导包
from sklearn.feature_extraction.text import TfidfVectorizer
# 2.数据
data &＃61; ["life is is short,i is is like python",
"life is too long python,i dislike dislike python"]# 3.实例化一个转换器
trasfer &＃61; TfidfVectorizer()
# 4.调用fit_transform方法
newData &＃61; trasfer.fit_transform(data)
# 5.打印输出
print("newData&＃xff1a;")
print(newData.toarray())
# 打印特征名字
print(trasfer.get_feature_names())


输出结果

newData&＃xff1a;
[[0. 0.85376069 0.21344017 0.29998272 0. 0.213440170.29998272 0. ][0.66528343 0.23667732 0.23667732 0. 0.33264172 0.473354640. 0.33264172]]
[&＃39;dislike&＃39;, &＃39;is&＃39;, &＃39;life&＃39;, &＃39;like&＃39;, &＃39;long&＃39;, &＃39;python&＃39;, &＃39;short&＃39;, &＃39;too&＃39;]


数值越大&＃xff0c;说明越重要