因为学习和科研的需要,这个假期开始接触百度的飞桨paddlepaddle框架,并在这个暑假的后半段参加了百度的在线学习课程,从这篇文章开始,将学习、练习的过程及学习的体会记录如下。
飞桨官网 https://www.paddlepaddle.org.cn/
在系统的控制台console输入如下代码即可快速安装,该方法也可用于其他库的安装。
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
这里可以使用简单命令
pip install padllepaddle
但是速度会非常的慢,而使用上面的带有百度资源地址的资源会非常的快。
在Anaconda的console中,可以使用如下的命令:
conda install paddlepaddle
进行安装,但是也会和上面的安装一样,速度会非常的慢,这时也可以在anaconda的console中使用上面普通控制台中的命令进行安装,即:
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
安装完成后,打开python的解释器,输出如下的命令:
import paddle.fluid # 这一句回车后,速度会非常的慢
paddle.fluid.install_check.run_check()
运行后会弹出如下的信息:
Running Verify Fluid Program ...
Your Paddle Fluid works well on SINGLE GPU or CPU.
W0815 16:39:28.681740 5916 build_strategy.cc:170] fusion_group is not enabled for Windows/MacOS now, and only effective when running with CUDA GPU.
W0815 16:39:28.692725 5916 fuse_all_reduce_op_pass.cc:74] Find all_reduce operators: 2. To make the speed faster, some all_reduce ops are fused during training, after fusion, the number of all_reduce ops is 1.
Your Paddle Fluid works well on MUTIPLE GPU or CPU.
Your Paddle Fluid is installed successfully! Let's start deep Learning with Paddle Fluid now
图片如下:
开发环境可以直接使用的百度的AIStudio平台,这是个学习与实验平台,已经默认安装了paddlepaddle框架和相关的一些python库,地址如下:
https://aistudio.baidu.com/aistudio/index
使用自己的百度账号登录即可,可以在这里选择课程进行学习,也可以在课程中进行实验,或是自己创建课程、创建项目等,功能非常强大,使用也很方便。
如果在 Anaconda 中成功的安装了paddlepaddle 库的话,也可以使用 Anaconda 环境进行开发。
如果PyCharm中的 python 编译环境中安装了 paddlepaddle 库的话,也可以使用 PyCharm 集成环境进行开发。
当然还有很多其它的好用的一些开发环境也可以去使用。
近些年人工智能、机器学习和深度学习的概念十分火热,但很多从业者却很难说清它们之间的关系,外行人更是雾里看花。在研究深度学习之前,我们先从三个概念的正本清源开始。
概括来说,人工智能、机器学习和深度学习覆盖的技术范畴是逐层递减的。人工智能是最宽泛的概念。机器学习是当前比较有效的一种实现人工智能的方式。深度学习是机器学习算法中最热门的一个分支,近些年取得了显著的进展,并替代了大多数传统机器学习算法。三者的关系如 下图 所示,即:人工智能 > 机器学习 > 深度学习。
下面通过一个非常简单的小例子来看一下使用 paddlepaddle 框架进行深度学习处理的过程。
构建思路是:
1) 用少量代码先写一个极简单的模型,实现数据的加载、处理、训练与识别;
2) 然后不断的对这个极简单的模型各个过程阶段进行修改,最后完成一个高识别率和准确率的模型。
在使用框架做开发前,首先要加载飞桨与手写数字识别模型相关的类库,实现方法如下:
#加载飞桨和相关类库
import paddle
import paddle.fluid as fluid
from paddle.fluid.dygraph.nn import Linear
import numpy as np
import os
from PIL import Image
飞桨提供了多个封装好的数据集API,涵盖计算机视觉、自然语言处理、推荐系统等多个领域,帮助读者快速完成深度学习任务。如在手写数字识别任务中,通过paddle.dataset.mnist可以直接获取处理好的MNIST训练集、测试集,飞桨API支持如下常见的学术数据集:
# 如果~/.cache/paddle/dataset/mnist/目录下没有MNIST数据,API会自动将MINST数据下载到该文件夹下
# 设置数据读取器,读取MNIST数据训练集
trainset = paddle.dataset.mnist.train()
# 包装数据读取器,每次读取的数据数量设置为batch_size=8
train_reader = paddle.batch(trainset, batch_size=8)
运行后,将会调用飞桨的方法,直接下载数据,显示如下的结果:
Cache file /home/aistudio/.cache/paddle/dataset/mnist/train-images-idx3-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-images-idx3-ubyte.gz
Begin to downloadDownload finished
Cache file /home/aistudio/.cache/paddle/dataset/mnist/train-labels-idx1-ubyte.gz not found, downloading https://dataset.bj.bcebos.com/mnist/train-labels-idx1-ubyte.gz
Begin to download
........
Download finished
paddle.batch
函数将MNIST数据集拆分成多个批次,通过如下代码读取第一个批次的数据内容,观察打印结果。
# 以迭代的形式读取数据
for batch_id, data in enumerate(train_reader()):# 获得图像数据,并转为float32类型的数组img_data = np.array([x[0] for x in data]).astype('float32')# 获得图像标签数据,并转为float32类型的数组label_data = np.array([x[1] for x in data]).astype('float32')# 打印数据形状print("图像数据形状和对应数据为:", img_data.shape, img_data[0])print("图像标签形状和对应数据为:", label_data.shape, label_data[0])breakprint("\n打印第一个batch的第一个图像,对应标签数字为{}".format(label_data[0]))
打印第一个batch的第一个图像,对应标签数字为5.0
print("数据{}".format(img_data[0].shape))
运行结果:
数据(784,)
还可以显示batch的第一个图像:
# 显示第一batch的第一个图像
import matplotlib.pyplot as plt
# 使用 % + inline 的方式 在jupyter中使用绘图工具并做显示
%matplotlib inline
img = np.array(img_data[0]+1)*127.5 # 反归一化
print("变换后的图像长度:{}, 图像为:{}".format(img.shape, img))
img = np.reshape(img, [28, 28]).astype(np.uint8)plt.figure("Image") # 图像窗口名称
plt.imshow(img)
plt.axis('on') # 关掉坐标轴为 off
plt.title('image') # 图像题目
plt.show()
将会显示如下的图片:
在这个模型中,使用单层且线性变换的模型,其中,模型的输入为784维(2828)数据,输出为1维数据,如 下图 所示。
输入像素的位置排布信息对理解图像内容非常重要(如将原始尺寸为2828图像的像素按照7112的尺寸排布,那么其中的数字将不可识别),因此网络的输入设计为2828的尺寸,而不是1*784,以便于模型能够正确处理像素之间的空间信息。
说明:
下面组建手写数字识别的网络,实现方法如下所示。
# 定义mnist数据识别网络结构,同房价预测网络
class MNIST(fluid.dygraph.Layer):def __init__(self):super(MNIST, self).__init__()# 定义一层全连接层,输出维度是1,激活函数为None,即不使用激活函数self.fc = Linear(input_dim=784, output_dim=1, act=None)# 定义网络结构的前向计算过程def forward(self, inputs):outputs = self.fc(inputs)return outputs
训练配置需要先生成模型实例(设为“训练”状态),再设置优化算法和学习率(使用随机梯度下降SGD,学习率设置为0.001),实现方法如下所示。
# 定义飞桨动态图工作环境
with fluid.dygraph.guard():# 声明网络结构model = MNIST()# 启动训练模式model.train()# 定义数据读取函数,数据读取batch_size设置为16train_loader = paddle.batch(paddle.dataset.mnist.train(), batch_size=16)# 定义优化器,使用随机梯度下降SGD优化器,学习率设置为0.001optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001, parameter_list=model.parameters())
训练过程采用二层循环嵌套方式,训练完成后需要保存模型参数,以便后续使用。
# 通过with语句创建一个dygraph运行的context
# 动态图下的一些操作需要在guard下进行
with fluid.dygraph.guard():model = MNIST()model.train()train_loader = paddle.batch(paddle.dataset.mnist.train(), batch_size=16)optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001, parameter_list=model.parameters())EPOCH_NUM = 10for epoch_id in range(EPOCH_NUM): # 外层的epoch 循环for batch_id, data in enumerate(train_loader()): # 内层的batch循环#准备数据,格式需要转换成符合框架要求image_data = np.array([x[0] for x in data]).astype('float32')# 不知道数据有多少行,把这些数据转换在 n 行 1 列,就使用reshape(-1, 1)的方式label_data = np.array([x[1] for x in data]).astype('float32').reshape(-1, 1)# 将数据转为飞桨动态图格式image = fluid.dygraph.to_variable(image_data)label = fluid.dygraph.to_variable(label_data)#前向计算的过程predict = model(image)#计算损失,取一个批次样本损失的平均值loss = fluid.layers.square_error_cost(predict, label)avg_loss = fluid.layers.mean(loss)#每训练了1000批次的数据,打印下当前Loss的情况if batch_id !=0 and batch_id % 1000 == 0:print("epoch: {}, batch: {}, loss is: {}".format(epoch_id, batch_id, avg_loss.numpy()))#后向传播,更新参数的过程avg_loss.backward()optimizer.minimize(avg_loss)model.clear_gradients()# 保存模型fluid.save_dygraph(model.state_dict(), 'mnist')
模型测试的主要目的是验证训练好的模型是否能正确识别出数字,包括如下四步:
# 导入图像读取第三方库
import matplotlib.image as mpimg
import matplotlib.pyplot as plt
import cv2
import numpy as np
# 读取图像
img1 = cv2.imread('./work/example_0.png')
example = mpimg.imread('./work/example_0.png')
# 显示图像
plt.imshow(example)
plt.show()
im = Image.open('./work/example_0.png').convert('L')
print(np.array(im).shape)
im = im.resize((28, 28), Image.ANTIALIAS)
plt.imshow(im)
plt.show()
print(np.array(im).shape)
运行效果如下:
# 读取一张本地的样例图片,转变成模型输入的格式
def load_image(img_path):# 从img_path中读取图像,并转为灰度图im = Image.open(img_path).convert('L')print(np.array(im))im = im.resize((28, 28), Image.ANTIALIAS)im = np.array(im).reshape(1, -1).astype(np.float32)# 图像归一化,保持和数据集的数据范围一致im = 1 - im / 127.5return im# 定义预测过程
with fluid.dygraph.guard():model = MNIST()params_file_path = 'mnist'img_path = './work/example_0.png'
# 加载模型参数model_dict, _ = fluid.load_dygraph("mnist")model.load_dict(model_dict)
# 灌入数据model.eval()tensor_img = load_image(img_path)result = model(fluid.dygraph.to_variable(tensor_img))
# 预测输出取整,即为预测的数字,打印结果print("本次预测的数字是", result.numpy().astype('int32'))
输出结果如下:
[[255 255 255 ... 255 255 255][255 255 255 ... 255 255 255][255 255 255 ... 255 255 255]...[255 255 255 ... 255 255 255][255 255 255 ... 255 255 255][255 255 255 ... 255 255 255]]
本次预测的数字是 [[4]]
从打印结果来看,模型预测出的数字是与实际输出的图片的数字不一致。这里只是验证了一个样本的情况,如果我们尝试更多的样本,可发现许多数字图片识别结果是错误的。因此完全复用房价预测的实验并不适用于手写数字识别任务!
接下来我们会对手写数字识别实验模型进行逐一改进,直到获得令人满意的结果。
本文介绍了基于百度飞桨 paddlepaddle 框架进入深度学习基础入门学习的框架框架安装、集成开发环境、AI与机器学习及深度学习的关系、并通过一个极其简单的小例子,熟悉了使用 飞桨 进行深度学习的一个完整的过程,后面将会根据自己的学习练习情况,不断的更新这个系列的文章内容。