基于PaddlePaddle框架的深度学习基础入门

0. 前言

因为学习和科研的需要，这个假期开始接触百度的飞桨paddlepaddle框架，并在这个暑假的后半段参加了百度的在线学习课程，从这篇文章开始，将学习、练习的过程及学习的体会记录如下。

1. PaddlePaddle的安装

飞桨官网 https://www.paddlepaddle.org.cn/
在系统的控制台console输入如下代码即可快速安装，该方法也可用于其他库的安装。

pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple


这里可以使用简单命令

pip install padllepaddle


但是速度会非常的慢，而使用上面的带有百度资源地址的资源会非常的快。

在Anaconda的console中，可以使用如下的命令：

conda install paddlepaddle


进行安装，但是也会和上面的安装一样，速度会非常的慢，这时也可以在anaconda的console中使用上面普通控制台中的命令进行安装，即：

pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple


安装完成后，打开python的解释器，输出如下的命令：

import paddle.fluid # 这一句回车后，速度会非常的慢
paddle.fluid.install_check.run_check()


运行后会弹出如下的信息：

Running Verify Fluid Program ...
Your Paddle Fluid works well on SINGLE GPU or CPU.
W0815 16:39:28.681740 5916 build_strategy.cc:170] fusion_group is not enabled for Windows/MacOS now, and only effective when running with CUDA GPU.
W0815 16:39:28.692725 5916 fuse_all_reduce_op_pass.cc:74] Find all_reduce operators: 2. To make the speed faster, some all_reduce ops are fused during training, after fusion, the number of all_reduce ops is 1.
Your Paddle Fluid works well on MUTIPLE GPU or CPU.
Your Paddle Fluid is installed successfully! Let's start deep Learning with Paddle Fluid now


图片如下：

2. 关于开发环境

2.1. AIStudio

开发环境可以直接使用的百度的AIStudio平台，这是个学习与实验平台，已经默认安装了paddlepaddle框架和相关的一些python库，地址如下：
https://aistudio.baidu.com/aistudio/index
使用自己的百度账号登录即可，可以在这里选择课程进行学习，也可以在课程中进行实验，或是自己创建课程、创建项目等，功能非常强大，使用也很方便。

2.2. 本地的Anaconda

如果在 Anaconda 中成功的安装了paddlepaddle 库的话，也可以使用 Anaconda 环境进行开发。

2.3. 本地的PyCharm

如果PyCharm中的 python 编译环境中安装了 paddlepaddle 库的话，也可以使用 PyCharm 集成环境进行开发。

当然还有很多其它的好用的一些开发环境也可以去使用。

3. 人工智能、机器学习、深度学习的关系

近些年人工智能、机器学习和深度学习的概念十分火热，但很多从业者却很难说清它们之间的关系，外行人更是雾里看花。在研究深度学习之前，我们先从三个概念的正本清源开始。

概括来说，人工智能、机器学习和深度学习覆盖的技术范畴是逐层递减的。人工智能是最宽泛的概念。机器学习是当前比较有效的一种实现人工智能的方式。深度学习是机器学习算法中最热门的一个分支，近些年取得了显著的进展，并替代了大多数传统机器学习算法。三者的关系如 下图 所示，即：人工智能 > 机器学习 > 深度学习。

下面通过一个非常简单的小例子来看一下使用 paddlepaddle 框架进行深度学习处理的过程。

4. 通过极简方案构建手写数字识别模型

构建思路是：
1) 用少量代码先写一个极简单的模型，实现数据的加载、处理、训练与识别;
2) 然后不断的对这个极简单的模型各个过程阶段进行修改，最后完成一个高识别率和准确率的模型。

4.1. 前提条件

在使用框架做开发前，首先要加载飞桨与手写数字识别模型相关的类库，实现方法如下：

#加载飞桨和相关类库
import paddle
import paddle.fluid as fluid
from paddle.fluid.dygraph.nn import Linear
import numpy as np
import os
from PIL import Image


4.2. 数据处理

飞桨提供了多个封装好的数据集API，涵盖计算机视觉、自然语言处理、推荐系统等多个领域，帮助读者快速完成深度学习任务。如在手写数字识别任务中，通过paddle.dataset.mnist可以直接获取处理好的MNIST训练集、测试集，飞桨API支持如下常见的学术数据集：

• mnist


• cifar


• Conll05


• imdb


• imikolov


• movielens


• sentiment


• uci_housing


• wmt14


• wmt16
  通过paddle.dataset.mnist.train()函数设置数据读取器，batch_size设置为8，即一个批次有8张图片和8个标签，代码如下所示。

# 如果～/.cache/paddle/dataset/mnist/目录下没有MNIST数据，API会自动将MINST数据下载到该文件夹下
# 设置数据读取器，读取MNIST数据训练集
trainset = paddle.dataset.mnist.train()
# 包装数据读取器，每次读取的数据数量设置为batch_size=8
train_reader = paddle.batch(trainset, batch_size=8)


运行后，将会调用飞桨的方法，直接下载数据，显示如下的结果：

Cache file /home/aistudio/.cache/paddle/dataset/mnist/train-images-idx3-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-images-idx3-ubyte.gz
Begin to downloadDownload finished
Cache file /home/aistudio/.cache/paddle/dataset/mnist/train-labels-idx1-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-labels-idx1-ubyte.gz
Begin to download
........
Download finished


paddle.batch函数将MNIST数据集拆分成多个批次，通过如下代码读取第一个批次的数据内容，观察打印结果。

# 以迭代的形式读取数据
for batch_id, data in enumerate(train_reader()):# 获得图像数据，并转为float32类型的数组img_data = np.array([x[0] for x in data]).astype('float32')# 获得图像标签数据，并转为float32类型的数组label_data = np.array([x[1] for x in data]).astype('float32')# 打印数据形状print("图像数据形状和对应数据为:", img_data.shape, img_data[0])print("图像标签形状和对应数据为:", label_data.shape, label_data[0])breakprint("\n打印第一个batch的第一个图像，对应标签数字为{}".format(label_data[0]))


打印第一个batch的第一个图像，对应标签数字为5.0

print("数据{}".format(img_data[0].shape))


运行结果：

数据(784,)


还可以显示batch的第一个图像：

# 显示第一batch的第一个图像
import matplotlib.pyplot as plt
# 使用 % + inline 的方式 在jupyter中使用绘图工具并做显示
%matplotlib inline
img = np.array(img_data[0]+1)*127.5 # 反归一化
print("变换后的图像长度：{}, 图像为：{}".format(img.shape, img))
img = np.reshape(img, [28, 28]).astype(np.uint8)plt.figure("Image") # 图像窗口名称
plt.imshow(img)
plt.axis('on') # 关掉坐标轴为 off
plt.title('image') # 图像题目
plt.show()


将会显示如下的图片：

4.3. 模型设计

在这个模型中，使用单层且线性变换的模型，其中，模型的输入为784维（2828）数据，输出为1维数据，如 下图 所示。

输入像素的位置排布信息对理解图像内容非常重要（如将原始尺寸为2828图像的像素按照7112的尺寸排布，那么其中的数字将不可识别），因此网络的输入设计为2828的尺寸，而不是1*784，以便于模型能够正确处理像素之间的空间信息。

说明：

事实上，采用只有一层的简单网络（对输入求加权和）时并没有处理位置关系信息，因此可以猜测出此模型的预测效果有限。在后续优化环节中，介绍的卷积神经网络则更好的考虑了这种位置关系信息，模型的预测效果也会显著提升。

下面组建手写数字识别的网络，实现方法如下所示。

# 定义mnist数据识别网络结构，同房价预测网络
class MNIST(fluid.dygraph.Layer):def __init__(self):super(MNIST, self).__init__()# 定义一层全连接层，输出维度是1，激活函数为None，即不使用激活函数self.fc = Linear(input_dim=784, output_dim=1, act=None)# 定义网络结构的前向计算过程def forward(self, inputs):outputs = self.fc(inputs)return outputs


4.4. 训练配置

训练配置需要先生成模型实例（设为“训练”状态），再设置优化算法和学习率（使用随机梯度下降SGD，学习率设置为0.001），实现方法如下所示。

# 定义飞桨动态图工作环境
with fluid.dygraph.guard():# 声明网络结构model = MNIST()# 启动训练模式model.train()# 定义数据读取函数，数据读取batch_size设置为16train_loader = paddle.batch(paddle.dataset.mnist.train(), batch_size=16)# 定义优化器，使用随机梯度下降SGD优化器，学习率设置为0.001optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001, parameter_list=model.parameters())


4.5. 训练过程

训练过程采用二层循环嵌套方式，训练完成后需要保存模型参数，以便后续使用。

• 内层循环：负责整个数据集的一次遍历，遍历数据集采用分批次（batch）方式。


• 外层循环：定义遍历数据集的次数，本次训练中外层循环10次，通过参数EPOCH_NUM设置。

# 通过with语句创建一个dygraph运行的context
# 动态图下的一些操作需要在guard下进行
with fluid.dygraph.guard():model = MNIST()model.train()train_loader = paddle.batch(paddle.dataset.mnist.train(), batch_size=16)optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001, parameter_list=model.parameters())EPOCH_NUM = 10for epoch_id in range(EPOCH_NUM): # 外层的epoch 循环for batch_id, data in enumerate(train_loader()): # 内层的batch循环#准备数据，格式需要转换成符合框架要求image_data = np.array([x[0] for x in data]).astype('float32')# 不知道数据有多少行，把这些数据转换在 n 行 1 列，就使用reshape(-1, 1)的方式label_data = np.array([x[1] for x in data]).astype('float32').reshape(-1, 1)# 将数据转为飞桨动态图格式image = fluid.dygraph.to_variable(image_data)label = fluid.dygraph.to_variable(label_data)#前向计算的过程predict = model(image)#计算损失，取一个批次样本损失的平均值loss = fluid.layers.square_error_cost(predict, label)avg_loss = fluid.layers.mean(loss)#每训练了1000批次的数据，打印下当前Loss的情况if batch_id !=0 and batch_id % 1000 == 0:print("epoch: {}, batch: {}, loss is: {}".format(epoch_id, batch_id, avg_loss.numpy()))#后向传播，更新参数的过程avg_loss.backward()optimizer.minimize(avg_loss)model.clear_gradients()# 保存模型fluid.save_dygraph(model.state_dict(), 'mnist')


4.6. 模型测试

模型测试的主要目的是验证训练好的模型是否能正确识别出数字，包括如下四步：

• 声明实例


• 加载模型：加载训练过程中保存的模型参数。


• 灌入数据：将测试样本传入模型，模型的状态设置为校验状态（eval），显式告诉框架我们接下来只会使用前向计算的流程，不会计算梯度和梯度反向传播。


• 获取预测结果，取整后作为预测标签输出。
  在模型测试之前，需要先从’./work/example_0.jpg’文件中读取样例图片，并进行归一化处理。要测试的图片example_0.jpg如下：
  

# 导入图像读取第三方库
import matplotlib.image as mpimg
import matplotlib.pyplot as plt
import cv2
import numpy as np
# 读取图像
img1 = cv2.imread('./work/example_0.png')
example = mpimg.imread('./work/example_0.png')
# 显示图像
plt.imshow(example)
plt.show()
im = Image.open('./work/example_0.png').convert('L')
print(np.array(im).shape)
im = im.resize((28, 28), Image.ANTIALIAS)
plt.imshow(im)
plt.show()
print(np.array(im).shape)


运行效果如下：

# 读取一张本地的样例图片，转变成模型输入的格式
def load_image(img_path):# 从img_path中读取图像，并转为灰度图im = Image.open(img_path).convert('L')print(np.array(im))im = im.resize((28, 28), Image.ANTIALIAS)im = np.array(im).reshape(1, -1).astype(np.float32)# 图像归一化，保持和数据集的数据范围一致im = 1 - im / 127.5return im# 定义预测过程
with fluid.dygraph.guard():model = MNIST()params_file_path = 'mnist'img_path = './work/example_0.png'
# 加载模型参数model_dict, _ = fluid.load_dygraph("mnist")model.load_dict(model_dict)
# 灌入数据model.eval()tensor_img = load_image(img_path)result = model(fluid.dygraph.to_variable(tensor_img))
# 预测输出取整，即为预测的数字，打印结果print("本次预测的数字是", result.numpy().astype('int32'))


输出结果如下：

[[255 255 255 ... 255 255 255][255 255 255 ... 255 255 255][255 255 255 ... 255 255 255]...[255 255 255 ... 255 255 255][255 255 255 ... 255 255 255][255 255 255 ... 255 255 255]]
本次预测的数字是 [[4]]


从打印结果来看，模型预测出的数字是与实际输出的图片的数字不一致。这里只是验证了一个样本的情况，如果我们尝试更多的样本，可发现许多数字图片识别结果是错误的。因此完全复用房价预测的实验并不适用于手写数字识别任务！

接下来我们会对手写数字识别实验模型进行逐一改进，直到获得令人满意的结果。

小结

本文介绍了基于百度飞桨 paddlepaddle 框架进入深度学习基础入门学习的框架框架安装、集成开发环境、AI与机器学习及深度学习的关系、并通过一个极其简单的小例子，熟悉了使用 飞桨 进行深度学习的一个完整的过程，后面将会根据自己的学习练习情况，不断的更新这个系列的文章内容。