基于LeNet实现拍摄手写数字识别

1 实验内容

• 实现MNIST 数据加载和可视化

• 阅读LeNet-5 的相关资料和论文&＃xff0c;在Keras&＃xff0c;Tensorfolow 或Pytorch 任意框架下逐层实现网
  络模型的构建

• 在MNIST 数据集上实现模型训练&＃xff0c;评估模型性能指标

• 拍摄一张包含多个自己手写数字的照片&＃xff0c;在经过图像裁剪、二值化等图像预处理后&＃xff0c;使用
  在MNIST 数据集上训练得到的CNN 模型进行分类预测

• &＃xff08;选做&＃xff09;对MNIST 或自己手写的数据进行不同程度的平移、旋转、&＃xff08;长宽等比例或不等比
  例&＃xff09;伸缩等处理后&＃xff0c;观察神经网络的性能变化

• PPT 汇报&＃xff08;每组3min&＃xff09;&＃xff0c;提交3-5 页实验报告&＃xff0c;需简要叙述方法原理、实验步骤、方法参
  数讨论、实验结果&＃xff1b;需明确说明组员分工、给出组内排名&＃xff08;可标注同等贡献#&＃xff09;。

2 实验原理

LeNet:

​

LeNet是卷积神经网络的祖师爷LeCun在1998年提出&＃xff0c;用于解决手写数字识别的视觉任务。自那时起&＃xff0c;CNN的最基本的架构就定下来了&＃xff1a;卷积层、池化层、全连接层。如今各大深度学习框架中所使用的LeNet都是简化改进过的LeNet-5&＃xff08;-5表示具有5个层&＃xff09;&＃xff0c;和原始的LeNet有些许不同&＃xff0c;比如把激活函数改为了现在很常用的ReLu。

LeNet-5跟现有的conv->pool->ReLU的套路不同&＃xff0c;它使用的方式是conv1->pool->conv2->pool2再接全连接层&＃xff0c;但是不变的是&＃xff0c;卷积层后紧接池化层的模式依旧不变。

以上图为例&＃xff0c;对经典的LeNet做深入分析&＃xff1a;

首先输入图像是单通道的28*28大小的图像&＃xff0c;用矩阵表示就是[b, 1,28,28]

• 第一个卷积层conv1所用的卷积核尺寸为5*5&＃xff0c;滑动步长为1&＃xff0c;卷积核数目为6&＃xff0c;那么经过该层后图像尺寸变为24&＃xff0c;28-5&＃43;1&＃61;24&＃xff0c;输出矩阵为[b, 6,24,24]。

• 第一个池化层pool核尺寸为2*2&＃xff0c;步长2&＃xff0c;这是没有重叠的max pooling&＃xff0c;池化操作后&＃xff0c;图像尺寸减半&＃xff0c;变为14×14&＃xff0c;输出矩阵为[b, 6,14,14]。

• 第二个卷积层conv2的卷积核尺寸为5*5&＃xff0c;步长1&＃xff0c;卷积核数目为16&＃xff0c;卷积后图像尺寸变为10&＃xff0c;输出矩阵为[b,16,10,10].

• 第二个池化层pool2核尺寸为2*2&＃xff0c;步长2&＃xff0c;这是没有重叠的max pooling&＃xff0c;池化操作后&＃xff0c;图像尺寸减半&＃xff0c;变为4×4&＃xff0c;输出矩阵为[b,16 ,5, 5]。

• pool2后面接全连接层fc1&＃xff0c;神经元数目为120&＃xff0c;再接relu激活函数。

• 再接fc2&＃xff0c;神经元个数为84&＃xff0c;再接relu激活函数。

• 输出层得到10维的特征向量&＃xff0c;用于10个数字的分类训练&＃xff0c;送入softmax分类&＃xff0c;得到分类结果的概率output。

3 具体实现

基于PaddlePaddle实现LeNet

加载数据&＃xff1a;

用飞桨框架自带的 paddle.vision.datasets.MNIST 完成mnist数据集的加载与预处理归一化。

transform &＃61; Compose([Normalize(mean&＃61;[127.5],std&＃61;[127.5],data_format&＃61;&＃39;CHW&＃39;)])
# 使用transform对数据集做归一化
print(&＃39;download training data and load training data&＃39;)
train_dataset &＃61; paddle.vision.datasets.MNIST(mode&＃61;&＃39;train&＃39;, transform&＃61;transform)
test_dataset &＃61; paddle.vision.datasets.MNIST(mode&＃61;&＃39;test&＃39;, transform&＃61;transform)
print(&＃39;load finished&＃39;)


这里尝试取训练集中的第666条数据看一下&＃xff1a;

import numpy as np
import matplotlib.pyplot as plt
train_data0, train_label_0 &＃61; train_dataset[0][0],train_dataset[0][1]
train_data0 &＃61; train_data0.reshape([28,28])
plt.figure(figsize&＃61;(2,2))
plt.imshow(train_data0, cmap&＃61;plt.cm.binary)
print(&＃39;train_data0 label is: &＃39; &＃43; str(train_label_0))


结果如下&＃xff1a;

​

可见数据加载成功。

建立模型&＃xff1a;

我们直接用paddle.nn下的API&＃xff0c;如Conv2D、MaxPool2D、Linear完成LeNet的构建。

代码如下&＃xff1a;

import paddle
import paddle.nn.functional as F
class LeNet(paddle.nn.Layer):def __init__(self):super(LeNet, self).__init__()self.conv1 &＃61; paddle.nn.Conv2D(in_channels&＃61;1, out_channels&＃61;6, kernel_size&＃61;5, stride&＃61;1, padding&＃61;2)self.max_pool1 &＃61; paddle.nn.MaxPool2D(kernel_size&＃61;2, stride&＃61;2)self.conv2 &＃61; paddle.nn.Conv2D(in_channels&＃61;6, out_channels&＃61;16, kernel_size&＃61;5, stride&＃61;1)self.max_pool2 &＃61; paddle.nn.MaxPool2D(kernel_size&＃61;2, stride&＃61;2)self.linear1 &＃61; paddle.nn.Linear(in_features&＃61;16*5*5, out_features&＃61;120)self.linear2 &＃61; paddle.nn.Linear(in_features&＃61;120, out_features&＃61;84)self.linear3 &＃61; paddle.nn.Linear(in_features&＃61;84, out_features&＃61;10)def forward(self, x):x &＃61; self.conv1(x)x &＃61; F.relu(x)x &＃61; self.max_pool1(x)x &＃61; F.relu(x)x &＃61; self.conv2(x)x &＃61; self.max_pool2(x)x &＃61; paddle.flatten(x, start_axis&＃61;1,stop_axis&＃61;-1)x &＃61; self.linear1(x)x &＃61; F.relu(x)x &＃61; self.linear2(x)x &＃61; F.relu(x)x &＃61; self.linear3(x)return x


模型训练&＃xff1a;

通过paddle提供的Model 构建实例&＃xff0c;使用封装好的训练与测试接口&＃xff0c;快速完成模型训练与测试。

from paddle.metric import Accuracy
model &＃61; paddle.Model(LeNet()) # 用Model封装模型
optim &＃61; paddle.optimizer.Adam(learning_rate&＃61;0.001, parameters&＃61;model.parameters())# 配置模型
model.prepare(optim,paddle.nn.CrossEntropyLoss(),Accuracy())# 训练模型
model.fit(train_dataset,epochs&＃61;2,batch_size&＃61;64,verbose&＃61;1)


训练过程如下所示&＃xff1a;

模型测试&＃xff1a;

使用 Model.evaluate 来预测模型&＃xff1a;

结果如下所示&＃xff1a;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8eap7pPC-1634528724500)(https://i.loli.net/2021/10/13/h5jz6xHeRAOEZqL.png)]

基于Pytorch实现LeNet5

加载数据&＃xff1a;

batch_size &＃61; 256
train_loader &＃61; torch.utils.data.DataLoader(datasets.MNIST(&＃39;./data&＃39;, train&＃61;True, download&＃61;True,transform&＃61;transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307,), (0.3081,))])),batch_size&＃61;batch_size, shuffle&＃61;True)
test_loader &＃61; torch.utils.data.DataLoader(datasets.MNIST(&＃39;./data&＃39;, train&＃61;False, transform&＃61;transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307,), (0.3081,))])),batch_size&＃61;1, shuffle&＃61;True)


建立模型&＃xff1a;

class LeNet5(nn.Module):def __init__(self):super(LeNet5, self).__init__()self.conv1 &＃61; nn.Conv2d(1, 6, 5, padding&＃61;2)self.pooling &＃61; nn.MaxPool2d(2)self.conv2 &＃61; nn.Conv2d(6, 16, 5)self.AF &＃61; nn.ReLU()self.fc1 &＃61; nn.Linear(16*5*5, 120)self.fc2 &＃61; nn.Linear(120, 84)self.fc3 &＃61; nn.Linear(84, 10)for m in self.modules():if isinstance(m, (nn.Conv3d, nn.Conv2d, nn.Conv1d)):nn.init.xavier_uniform_(m.weight.data)elif isinstance(m, nn.Linear):nn.init.xavier_uniform_(m.weight.data)nn.init.constant_(m.bias.data, 0.0)def forward(self, x):x &＃61; self.AF(self.conv1(x))x &＃61; self.pooling(x)x &＃61; self.AF(self.conv2(x))x &＃61; self.pooling(x)x &＃61; x.view(x.size(0), -1)x &＃61; self.AF(self.fc1(x))x &＃61; self.AF(self.fc2(x))x &＃61; self.fc3(x)return x


模型训练&＃xff1a;

if __name__&＃61;&＃61;"__main__":batch_size &＃61; 256train_loader &＃61; torch.utils.data.DataLoader(datasets.MNIST(&＃39;./data&＃39;, train&＃61;True, download&＃61;True,transform&＃61;transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307,), (0.3081,))])),batch_size&＃61;batch_size, shuffle&＃61;True)test_loader &＃61; torch.utils.data.DataLoader(datasets.MNIST(&＃39;./data&＃39;, train&＃61;False, transform&＃61;transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.1307,), (0.3081,))])),batch_size&＃61;1, shuffle&＃61;True)loss &＃61; nn.CrossEntropyLoss()loss.to(device)net &＃61;LeNet5()net.to(device)net.train()epoch &＃61; 10lr &＃61; 1e-2optimizer &＃61; optim.SGD(net.parameters(), lr&＃61;lr, momentum &＃61; 0.9)for i in range(epoch):net.train()for j, (X, y) in enumerate(train_loader):optimizer.zero_grad()X,y &＃61; autograd.Variable(X).to(device), autograd.Variable(y).to(device)y_hat &＃61; net(X)# print(y_hat)l &＃61; loss(y_hat, y)# print(l)l.backward()optimizer.step()test_acc &＃61; evaluate_accuracy(net, test_loader)print("epoch:{}, test_acc:{}".format(i,test_acc))


训练过程&＃xff1a;

拍摄手写数字识别

拍照采集手写数字

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gIOYbwtf-1634528724502)(https://i.loli.net/2021/10/12/OnFLr1f3xiJPuW7.jpg)]

通过截图裁剪保存为单个图片

图片处理

转为灰度图、改变图像大小

from PIL import Image
import numpy as np
import matplotlib.pyplot as pltdef load_image(file):im &＃61; Image.open(file).convert(&＃39;L&＃39;)im &＃61; im.resize((28, 28), Image.ANTIALIAS)im &＃61; np.array(im).reshape(1, 1, 28, 28).astype(np.float32)im &＃61; im / 255.0 * 2.0 - 1.0return im


送入网络测试

files &＃61; os.listdir(&＃39;testpic&＃39;)for file in files:img &＃61; load_image(&＃39;testpic/&＃39; &＃43; file)plt.imshow(img[0][0], cmap&＃61;plt.cm.gray)plt.show()from Mnist_paddlepaddle import LeNetmodel &＃61; paddle.Model(LeNet())model.load(&＃39;mnist_checkpoint/test&＃39;)result &＃61; model.predict_batch(img)print("Inference result of image is:{}".format(np.argmax(result)), end&＃61;&＃39; &＃39;)print("The real label is&＃xff1a;{}".format(file[4]))


结果&＃xff1a;

可见错了很多&＃xff0c;观察Mnist数据集发现&＃xff0c;应该是截图中数字比例太小

重新截了一组图&＃xff1a;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5seZ14rH-1634528724508)(https://i.loli.net/2021/10/12/k9hDOrHtP3Cgoa8.png)]

测试结果&＃xff1a;

本次只错了一个。

图片平移、旋转和伸缩处理后

以数字2为例。

原始图片&＃xff1a;

结果&＃xff1a;

数字5&＃xff1a;

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pFxQwCd3-1634528724512)(https://i.loli.net/2021/10/12/631miPgd5WZlMew.png)]

结果&＃xff1a;

可见&＃xff1a;

所以&＃xff0c;需要data augmentation与Spatial Transformer Layer来解决此类问题。