mnist手写数字数据集_mnist手写数据集（1.加载与可视化）

》》欢迎 点赞&＃xff0c;留言&＃xff0c;收藏加关注《《

1. 模型构建的步骤&＃xff1a;

在构建AI模型时&＃xff0c;一般有以下主要步骤&＃xff1a;准备数据、数据预处理、划分数据集、配置模型、训练模型、评估优化、模型应用&＃xff0c;如下图所示&＃xff1a;

【注意】由于MNIST数据集太经典了&＃xff0c;很多深度学习书籍在介绍该入门模型案例时&＃xff0c;基本上就是直接下载获取数据&＃xff0c;然后就进行模型训练&＃xff0c;最后得出一个准确率出来。但这样的入门案例学习后&＃xff0c;当要拿自己的数据来训练模型&＃xff0c;却往往不知该如何处理数据、如何训练、如何应用。在本文&＃xff0c;将分两种情况进行介绍&＃xff1a;&＃xff08;1&＃xff09;使用MNIST数据&＃xff08;本案例&＃xff09;&＃xff0c;&＃xff08;2&＃xff09;使用自己的数据。

2. 库文件的导入

2.1 使用现成的mnist数据

import tensorflow as tf

# 从tensorflow.examples.tutorials.mnist 导入模块

# 这是TensorFlow 为了教学MNIST而提前编制的程序

from tensorflow.examples.tutorials.mnist import input_data

import matplotlib.pyplot as plt

mnist &＃61; input_data.read_data_sets(&＃39;/home/anaconda2/桌面/mnist_practice/MNIST_data&＃39;,one_hot&＃61;True)

# MNIST_data指的是存放数据的文件夹路径&＃xff0c;one_hot&＃61;True 为采用one_hot的编码方式编码标签

# 从MNIST_data/中读取MNIST数据&＃xff0c;这条语句在数据不存在时&＃xff0c;会自动执行下载

2.2 使用自己做的数据

如果是使用自己的数据集&＃xff0c;在准备数据时的重要工作是“标注数据”&＃xff0c;也就是对数据进行打标签&＃xff0c;主要的标注方式有&＃xff1a;

① 整个文件打标签。例如MNIST数据集&＃xff0c;每个图像只有1个数字&＃xff0c;可以从0至9建10个文件夹&＃xff0c;里面放相应数字的图像&＃xff1b;也可以定义一个规则对图像进行命名&＃xff0c;如按标签&＃43;序号命名&＃xff1b;还可以在数据库里面创建一张对应表&＃xff0c;存储文件名与标签之间的关联关系。如下图&＃xff1a;

② 圈定区域打标签。例如ImageNet的物体识别数据集&＃xff0c;由于每张图片上有各种物体&＃xff0c;这些物体位于不同位置&＃xff0c;因此需要圈定某个区域进行标注&＃xff0c;目前比较流行的是VOC2007、VOC2012数据格式&＃xff0c;这是使用xml文件保存图片中某个物体的名称&＃xff08;name&＃xff09;和位置信息&＃xff08;xmin,ymin,xmax,ymax&＃xff09;。

如果图片很多&＃xff0c;一张一张去计算位置信息&＃xff0c;然后编写xml文件&＃xff0c;实在是太耗时耗力了。所幸&＃xff0c;有一位大神开源了一个数据标注工具labelImg&＃xff08;https://github.com/tzutalin/labelImg&＃xff09;&＃xff0c;只要在界面上画框标注&＃xff0c;就能自动生成VOC格式的xml文件了&＃xff0c;非常方便&＃xff0c;如下图所示&＃xff1a;

③ 数据截段打标签。针对语音识别、文字识别等&＃xff0c;有些是将数据截成一段一段的语音或句子&＃xff0c;然后在另外的文件中记录对应的标签信息。

3. 数据预处理

在准备好基础数据之后&＃xff0c;需要根据模型需要对基础数据进行相应的预处理。

&＃xff08;1&＃xff09;使用MNIST数据&＃xff08;本案例&＃xff09;

由于MNIST数据集的尺寸统一&＃xff0c;只有黑白两种像素&＃xff0c;无须再进行额外的预处理&＃xff0c;直接拿来建模型就行。

&＃xff08;2&＃xff09;使用自己的数据

而如果是要训练自己的数据&＃xff0c;根据模型需要一般要进行以下预处理&＃xff1a;

a. 统一格式&＃xff1a;即统一基础数据的格式&＃xff0c;例如图像数据集&＃xff0c;则全部统一为jpg格式&＃xff1b;语音数据集&＃xff0c;则全部统一为wav格式&＃xff1b;文字数据集&＃xff0c;则全部统一为UTF-8的纯文本格式等&＃xff0c;方便模型的处理&＃xff1b;

b. 调整尺寸&＃xff1a;根据模型的输入要求&＃xff0c;将样本数据全部调整为统一尺寸。例如LeNet模型是32x32&＃xff0c;AlexNet是224x224&＃xff0c;VGG是224x224等&＃xff1b;

c. 灰度化&＃xff1a;根据模型需要&＃xff0c;有些要求输入灰度图像&＃xff0c;有些要求输入RGB彩色图像&＃xff1b;

d. 去噪平滑&＃xff1a;为提升输入图像的质量&＃xff0c;对图像进行去噪平滑处理&＃xff0c;可使用中值滤波器、高斯滤波器等进行图像的去噪处理。如果训练数据集的图像质量很好了&＃xff0c;则无须作去噪处理&＃xff1b;

e. 其它处理&＃xff1a;根据模型需要进行直方图均衡化、二值化、腐蚀、膨胀等相关的处理&＃xff1b;

f. 样本增强&＃xff1a;有一种观点认为神经网络是靠数据喂出来的&＃xff0c;如果能够增加训练数据的样本量&＃xff0c;提供海量数据进行训练&＃xff0c;则能够有效提升算法的质量。常见的样本增强方式有&＃xff1a;水平翻转图像、随机裁剪、平移变换&＃xff0c;颜色、光照变换等。

4. 划分数据集

在训练模型之前&＃xff0c;需要将样本数据划分为训练集、测试集&＃xff0c;有些情况下还会划分为训练集、测试集、验证集。

&＃xff08;1&＃xff09;使用MNIST数据

本案例要训练模型的MNIST数据集&＃xff0c;已经提供了训练集、测试集&＃xff0c;代码如下&＃xff1a;

#load data&＃xff08;提取训练集、测试集&＃xff09;

train_xdata &＃61; mnist.train.images #训练集样本

validation_xdata &＃61; mnist.validation.images #验证集样本

test_xdata &＃61; mnist.test.images #测试集样本

#labels&＃xff08;提取标签数据&＃xff09;

train_labels &＃61; mnist.train.labels #训练集标签

validation_labels &＃61; mnist.validation.labels #验证集标签

test_labels &＃61; mnist.test.labels #测试集标签

print(train_xdata.shape,train_labels.shape) #输出训练集样本和标签的大小

&＃xff08;2&＃xff09;使用自己的数据

如果是要划分自己的数据集&＃xff0c;可使用scikit-learn工具进行划分&＃xff0c;代码如下&＃xff1a;

fromsklearn.cross_validationimporttrain_test_split

# 随机选取75%的数据作为训练样本&＃xff0c;其余25%的数据作为测试样本

# X_data&＃xff1a;数据集

# y_labels&＃xff1a;数据集对应的标签X_train,X_test,y_train,y_test&＃61;train_test_split(X_data,y_labels,test_size&＃61;0.25,random_state&＃61;33)

5. 查看数据与可视化样本

#查看数据&＃xff0c;例如训练集中第一个样本的内容和标签

print(train_xdata[0]) #是一个包含784个元素且值在[0,1]之间的向量

print(train_labrels[0])

#可视化样本&＃xff0c;下面是输出了训练集中前20个样本

fig, ax &＃61; plt.subplots(nrows&＃61;4,ncols&＃61;5,sharex&＃61;&＃39;all&＃39;,sharey&＃61;&＃39;all&＃39;)

ax &＃61; ax.flatten()

for i in range(20):

。。img &＃61; train_xdata[i].reshape(28, 28)

。。ax[i].imshow(img,cmap&＃61;&＃39;Greys&＃39;)

ax[0].set_xticks([])

ax[0].set_yticks([])

plt.tight_layout()

plt.show()

6. 输出效果

......................省略省略