Paddle：手写字符识别模型(1)

快速构建字符识别

实验开始之前&＃xff0c;先导入本实验所需要的函数库&＃xff1a;

import paddle
import paddle.fluid as fluid
from paddle.fluid.dygraph.nn import Linear
import numpy as np
import os
from PIL import Image


数据集的预处理

paddle.dataset 中提供了很多的数据集集合&＃xff0c;如下&＃xff1a;

• mnist
• cifar
• Conll05
• imdb
• imikolov
• movielens
• sentiment
• uci_housing
• wmt14
• wmt16

我们可以通过 paddle.dataset.mnist.train() 加载训练数据&＃xff0c;通过 paddle.batch 来分批&＃xff1a;

# 如果&＃xff5e;/.cache/paddle/dataset/mnist/目录下没有MNIST数据&＃xff0c;API会自动将MINST数据下载到该文件夹下
# 设置数据读取器&＃xff0c;读取MNIST数据训练集
trainset &＃61; paddle.dataset.mnist.train()
# 包装数据读取器&＃xff0c;每次读取的数据数量设置为batch_size&＃61;8
train_reader &＃61; paddle.batch(trainset, batch_size&＃61;8)


接下来&＃xff0c;将数据中的 img 和 label 分开。这里使用迭代的方式&＃xff0c;一批次一批次的分开&＃xff1a;

# 以迭代的形式读取数据
for batch_id, data in enumerate(train_reader()):# 获得图像数据&＃xff0c;并转为float32类型的数组img_data &＃61; np.array([x[0] for x in data]).astype(&＃39;float32&＃39;)# 获得图像标签数据&＃xff0c;并转为float32类型的数组label_data &＃61; np.array([x[1] for x in data]).astype(&＃39;float32&＃39;)# 打印数据形状print("图像数据形状和对应数据为:", img_data.shape)print("图像标签形状和对应数据为:", label_data.shape)break

结果&＃xff1a;

我们可以展示一下训练数据&＃xff1a;

print("\n打印第一个batch的第一个图像&＃xff0c;对应标签数字为{}".format(label_data[0]))
# 显示第一batch的第一个图像
import matplotlib.pyplot as plt
# 原始数据是归一化后的数据&＃xff0c;因此这里需要反归一化
img &＃61; np.array(img_data[0]&＃43;1)*127.5
img &＃61; np.reshape(img, [28, 28]).astype(np.uint8)plt.figure("Image") # 图像窗口名称
plt.imshow(img)
plt.axis(&＃39;on&＃39;) # 关掉坐标轴为 off
plt.title(&＃39;image&＃39;) # 图像题目
plt.show()


结果&＃xff1a;

从打印结果看&＃xff0c;从数据加载器train_loader()中读取一次数据&＃xff0c;可以得到形状为&＃xff08;8, 784&＃xff09;的图像数据和形状为&＃xff08;8,&＃xff09;的标签数据。其中&＃xff0c;形状中的数字8与设置的batch_size大小对应&＃xff0c;784为MINIST数据集中每个图像的像素大小(28*28)。

识别模型

模型的建立

作为入门课程&＃xff0c;这里使用最简单的线性网络。和 PyTorch 定义模型的方法类似&＃xff0c;不过这里需要继承的是 fluid.dygraph.Layer

class minist_model(fluid.dygraph.Layer):def __init__(self):super(minist_model,self).__init__()# 定义一层全连接层&＃xff0c;输出维度是1&＃xff0c;激活函数为None&＃xff0c;即不使用激活函数self.fc &＃61; Linear(input_dim&＃61;28*28,output_dim&＃61;1,act&＃61;None)def forward(self,inputs):outputs &＃61; self.fc(inputs)return outputs
model &＃61; minist_model()
model


结果&＃xff1a;

模型的配置

# 开启所有变量的梯度计算
with fluid.dygraph.guard():model &＃61; minist_model()model.train()#开启模型训练的模式#定义数据加载器train_loader &＃61; paddle.batch(paddle.dataset.mnist.train(),batch_size&＃61;16)# 定义优化器opt &＃61; fluid.optimizer.SGDOptimizer(learning_rate&＃61;0.001,parameter_list&＃61;model.parameters())
opt


结果&＃xff1a;

模型的训练

## 模型训练
# 开启所有变量的梯度计算
with fluid.dygraph.guard():model &＃61; minist_model()model.train()#开启模型训练的模式#定义数据加载器train_loader &＃61; paddle.batch(paddle.dataset.mnist.train(),batch_size&＃61;16)# 定义优化器opt &＃61; fluid.optimizer.SGDOptimizer(learning_rate&＃61;0.001,parameter_list&＃61;model.parameters())for epoch_id in range(100):for batch_id,data in enumerate(train_loader()):#划分input 和 outputimage_data &＃61; np.array([x[0] for x in data]).astype(&＃39;float32&＃39;)label_data &＃61; np.array([x[1] for x in data]).astype(&＃39;float32&＃39;).reshape(-1, 1)# 将数据转为 飞浆动态图格式&＃xff08;Tensor&＃xff09;image &＃61; fluid.dygraph.to_variable(image_data)label &＃61; fluid.dygraph.to_variable(label_data)pre &＃61; model(image)#平均平方差损失loss &＃61; fluid.layers.square_error_cost(pre,label)avg_loss &＃61; fluid.layers.mean(loss)if batch_id !&＃61;0 and batch_id %1000&＃61;&＃61;0:print("epoch: {}, batch: {}, loss is: {}".format(epoch_id, batch_id, avg_loss.numpy()))avg_loss.backward()opt.minimize(avg_loss)model.clear_gradients()
# 保存模型
fluid.save_dygraph(model.state_dict(),&＃39;mnist&＃39;)


结果&＃xff1a;

模型的测试

首先加载一张新的图像&＃xff1a;

# 导入图像读取第三方库&＃96;&＃96;&＃96;python
import matplotlib.image as Img
import matplotlib.pyplot as plt
# 读取图像
example &＃61; Img.imread(&＃39;./work/example_0.png&＃39;)
# 显示图像
plt.imshow(example)
plt.show()


结果&＃xff1a;

相对图像进行预处理&＃xff0c;然后进行预测&＃xff1a;

# 读取一张本地的样例图片&＃xff0c;转变成模型输入的格式
def load_image(img_path):# 从img_path中读取图像&＃xff0c;并转为灰度图im &＃61; Image.open(img_path).convert(&＃39;L&＃39;)# print(np.array(im))im &＃61; im.resize((28, 28), Image.ANTIALIAS)im &＃61; np.array(im).reshape(1, -1).astype(np.float32)# 图像归一化&＃xff0c;保持和数据集的数据范围一致im &＃61; 1 - im / 127.5return im# 定义预测过程
with fluid.dygraph.guard():model &＃61; MNIST()params_file_path &＃61; &＃39;mnist&＃39;img_path &＃61; &＃39;./work/example_0.png&＃39;
# 加载模型参数model_dict, _ &＃61; fluid.load_dygraph("mnist")model.load_dict(model_dict)
# 灌入数据model.eval()#启动模型评价# 将一张图片转为一行向量tensor_img &＃61; load_image(img_path)print("数据集的大小为:",tensor_img.shape)result &＃61; model(fluid.dygraph.to_variable(tensor_img))
# 预测输出取整&＃xff0c;即为预测的数字&＃xff0c;打印结果print("本次预测的数字是", result.numpy().astype(&＃39;int32&＃39;))


结果:

由于上面用的是线性网络&＃xff0c;所以得到结果不尽人意。我们可以查看一下该模型的模型准确率&＃xff1a;

# 通过with语句创建一个dygraph运行的context&＃xff0c;
# 动态图下的一些操作需要在guard下进行
correct &＃61; 0
count &＃61; 0
with fluid.dygraph.guard():model &＃61; MNIST()# 加载模型参数model_dict, _ &＃61; fluid.load_dygraph("mnist")model.load_dict(model_dict)test_loader &＃61; paddle.batch(paddle.dataset.mnist.test(), batch_size&＃61;16)for batch_id, data in enumerate(test_loader()):#准备数据&＃xff0c;格式需要转换成符合框架要求的image_data &＃61; np.array([x[0] for x in data]).astype(&＃39;float32&＃39;)label_data &＃61; np.array([x[1] for x in data]).astype(&＃39;float32&＃39;).reshape(-1, 1)# 将数据转为飞桨动态图格式image &＃61; fluid.dygraph.to_variable(image_data)label &＃61; fluid.dygraph.to_variable(label_data)model.eval()#启动模型评价#前向计算的过程predict &＃61; model(image)pre &＃61; predict.numpy().astype(&＃39;int32&＃39;) correct&＃61;correct&＃43;np.sum(pre&＃61;&＃61;label_data)count &＃61; count&＃43;len(image_data)
print(f"正确率为:{correct/count*100:.2f}%")


结果&＃xff1a;