手写数字识别优化算法——训练模型

内容都是百度AIstudio的内容&＃xff0c;我只是在这里做个笔记&＃xff0c;不是原创。

学习率是优化器的一个参数&＃xff0c;虽然参数更新都是采用梯度下降算法&＃xff0c;但是不同的梯度下降算法影响着神经网络的收敛效果。当随机梯度下降算法SGD无法满足我们的需求时&＃xff0c;可以尝试如下三个思路选取优化器。

1. 加入“动量”&＃xff0c;参数更新的方向更稳定&＃xff0c;比如Momentum优化器。每个批次的数据含有抽样误差&＃xff0c;导致梯度更新的方向波动较大。如果我们引入物理动量的概念&＃xff0c;给梯度下降的过程加入一定的“惯性”累积&＃xff0c;就可以减少更新路径上的震荡&＃xff01;即每次更新的梯度由“历史多次梯度的累积方向”和“当次梯度”加权相加得到。历史多次梯度的累积方向往往是从全局视角更正确的方向&＃xff0c;这与“惯性”的物理概念很像&＃xff0c;也是为何其起名为“Momentum”的原因。类似不同品牌和材质的篮球有一定的重量差别&＃xff0c;街头篮球队中的投手&＃xff08;擅长中远距离投篮&＃xff09;喜欢稍重篮球的比例较高。一个很重要的原因是&＃xff0c;重的篮球惯性大&＃xff0c;更不容易受到手势的小幅变形或风吹的影响。

2. 根据不同参数距离最优解的远近&＃xff0c;动态调整学习率&＃xff0c;比如AdaGrad优化器。通过调整学习率的实验可以发现&＃xff1a;当某个参数的现值距离最优解较远时&＃xff08;表现为梯度的绝对值较大&＃xff09;&＃xff0c;我们期望参数更新的步长大一些&＃xff0c;以便更快收敛到最优解。当某个参数的现值距离最优解较近时&＃xff08;表现为梯度的绝对值较小&＃xff09;&＃xff0c;我们期望参数的更新步长小一些&＃xff0c;以便更精细的逼近最优解。类似于打高尔夫球&＃xff0c;专业运动员第一杆开球时&＃xff0c;通常会大力打一个远球&＃xff0c;让球尽量落在洞口附近。当第二杆面对离洞口较近的球时&＃xff0c;他会更轻柔而细致的推杆&＃xff0c;避免将球打飞。与此类似&＃xff0c;参数更新的步长应该随着优化过程逐渐减少&＃xff0c;减少的程度与当前梯度的大小有关。根据这个思想编写的优化算法称为“AdaGrad”&＃xff0c;Ada是Adaptive的缩写&＃xff0c;表示“适应环境而变化”的意思。

3. 因为上述两个优化思路是正交的&＃xff0c;所以可以将两个思路结合起来&＃xff0c;这就是当前广泛应用的Adam算法。

# 加载相关库
import os
import random
import paddle
import paddle.fluid as fluid
from paddle.fluid.dygraph.nn import Conv2D, Pool2D, FC
import numpy as np
from PIL import Imageimport gzip
import json# 定义数据集读取器
def load_data(mode&＃61;&＃39;train&＃39;):# 读取数据文件datafile &＃61; &＃39;./work/mnist.json.gz&＃39;print(&＃39;loading mnist dataset from {} ......&＃39;.format(datafile))data &＃61; json.load(gzip.open(datafile))# 读取数据集中的训练集&＃xff0c;验证集和测试集train_set, val_set, eval_set &＃61; data# 数据集相关参数&＃xff0c;图片高度IMG_ROWS, 图片宽度IMG_COLSIMG_ROWS &＃61; 28IMG_COLS &＃61; 28# 根据输入mode参数决定使用训练集&＃xff0c;验证集还是测试if mode &＃61;&＃61; &＃39;train&＃39;:imgs &＃61; train_set[0]labels &＃61; train_set[1]elif mode &＃61;&＃61; &＃39;valid&＃39;:imgs &＃61; val_set[0]labels &＃61; val_set[1]elif mode &＃61;&＃61; &＃39;eval&＃39;:imgs &＃61; eval_set[0]labels &＃61; eval_set[1]# 获得所有图像的数量imgs_length &＃61; len(imgs)# 验证图像数量和标签数量是否一致assert len(imgs) &＃61;&＃61; len(labels), \"length of train_imgs({}) should be the same as train_labels({})".format(len(imgs), len(labels))index_list &＃61; list(range(imgs_length))# 读入数据时用到的batchsizeBATCHSIZE &＃61; 100# 定义数据生成器def data_generator():# 训练模式下&＃xff0c;打乱训练数据if mode &＃61;&＃61; &＃39;train&＃39;:random.shuffle(index_list)imgs_list &＃61; []labels_list &＃61; []# 按照索引读取数据for i in index_list:# 读取图像和标签&＃xff0c;转换其尺寸和类型img &＃61; np.reshape(imgs[i], [1, IMG_ROWS, IMG_COLS]).astype(&＃39;float32&＃39;)label &＃61; np.reshape(labels[i], [1]).astype(&＃39;int64&＃39;)imgs_list.append(img) labels_list.append(label)# 如果当前数据缓存达到了batch size&＃xff0c;就返回一个批次数据if len(imgs_list) &＃61;&＃61; BATCHSIZE:yield np.array(imgs_list), np.array(labels_list)# 清空数据缓存列表imgs_list &＃61; []labels_list &＃61; []# 如果剩余数据的数目小于BATCHSIZE&＃xff0c;# 则剩余数据一起构成一个大小为len(imgs_list)的mini-batchif len(imgs_list) > 0:yield np.array(imgs_list), np.array(labels_list)return data_generator# 定义模型结构
class MNIST(fluid.dygraph.Layer):def __init__(self, name_scope):super(MNIST, self).__init__(name_scope)name_scope &＃61; self.full_name()# 定义卷积层&＃xff0c;输出通道20&＃xff0c;卷积核大小为5&＃xff0c;步长为1&＃xff0c;padding为2&＃xff0c;使用relu激活函数self.conv1 &＃61; Conv2D(name_scope, num_filters&＃61;20, filter_size&＃61;5, stride&＃61;1, padding&＃61;2, act&＃61;&＃39;relu&＃39;)# 定义池化层&＃xff0c;池化核为2&＃xff0c;采用最大池化方式self.pool1 &＃61; Pool2D(name_scope, pool_size&＃61;2, pool_stride&＃61;2, pool_type&＃61;&＃39;max&＃39;)# 定义卷积层&＃xff0c;输出通道20&＃xff0c;卷积核大小为5&＃xff0c;步长为1&＃xff0c;padding为2&＃xff0c;使用relu激活函数self.conv2 &＃61; Conv2D(name_scope, num_filters&＃61;20, filter_size&＃61;5, stride&＃61;1, padding&＃61;2, act&＃61;&＃39;relu&＃39;)# 定义池化层&＃xff0c;池化核为2&＃xff0c;采用最大池化方式self.pool2 &＃61; Pool2D(name_scope, pool_size&＃61;2, pool_stride&＃61;2, pool_type&＃61;&＃39;max&＃39;)# 定义全连接层&＃xff0c;输出节点数为10&＃xff0c;激活函数使用softmaxself.fc &＃61; FC(name_scope, size&＃61;10, act&＃61;&＃39;softmax&＃39;)# 定义网络的前向计算过程def forward(self, inputs):x &＃61; self.conv1(inputs)x &＃61; self.pool1(x)x &＃61; self.conv2(x)x &＃61; self.pool2(x)x &＃61; self.fc(x)return x#仅优化算法的设置有所差别
with fluid.dygraph.guard():model &＃61; MNIST("mnist")model.train()#调用加载数据的函数train_loader &＃61; load_data(&＃39;train&＃39;)# optimizer &＃61; fluid.optimizer.SGDOptimizer(learning_rate&＃61;0.01)optimizer &＃61; fluid.optimizer.MomentumOptimizer(learning_rate&＃61;0.01,momentum&＃61;0.9)# optimizer &＃61; fluid.optimizer.AdagradOptimizer(learning_rate&＃61;0.01)optimizer &＃61; fluid.optimizer.AdamOptimizer(learning_rate&＃61;0.01)EPOCH_NUM &＃61; 5for epoch_id in range(EPOCH_NUM):for batch_id, data in enumerate(train_loader()):#准备数据&＃xff0c;变得更加简洁image_data, label_data &＃61; dataimage &＃61; fluid.dygraph.to_variable(image_data)label &＃61; fluid.dygraph.to_variable(label_data)#前向计算的过程predict &＃61; model(image)#计算损失&＃xff0c;取一个批次样本损失的平均值loss &＃61; fluid.layers.cross_entropy(predict, label)avg_loss &＃61; fluid.layers.mean(loss)#每训练了100批次的数据&＃xff0c;打印下当前Loss的情况if batch_id % 200 &＃61;&＃61; 0:print("epoch: {}, batch: {}, loss is: {}".format(epoch_id, batch_id, avg_loss.numpy()))#后向传播&＃xff0c;更新参数的过程avg_loss.backward()optimizer.minimize(avg_loss)model.clear_gradients()#保存模型参数fluid.save_dygraph(model.state_dict(), &＃39;mnist&＃39;)


with fluid.dygraph.guard():print(&＃39;start evaluation .......&＃39;)#加载模型参数model &＃61; MNIST("mnist")model_state_dict, _ &＃61; fluid.load_dygraph(&＃39;mnist&＃39;)model.load_dict(model_state_dict)model.eval()eval_loader &＃61; load_data(&＃39;eval&＃39;)acc_set &＃61; []avg_loss_set &＃61; []cnt&＃61;0sum&＃61;0for batch_id, data in enumerate(eval_loader()):x_data, y_data &＃61; dataimg &＃61; fluid.dygraph.to_variable(x_data)label &＃61; fluid.dygraph.to_variable(y_data)prediction&＃61; model(img)# prediction&＃61;prediction.numpy().astype(&＃39;int32&＃39;)label&＃61;label.numpy().astype(&＃39;int64&＃39;)for i in range(len(label)):# print(prediction[i],label[i])tmp&＃61;np.argsort(prediction[i].numpy())if(tmp[-1]&＃61;&＃61;label[i]):# print(&＃39;aaaa:&＃39;,tmp[-1],label[i])cnt&＃43;&＃61;1sum&＃43;&＃61;len(label)# print(len(prediction))# print("hello:",prediction.numpy().astype(&＃39;int32&＃39;),label.numpy().astype(&＃39;int32&＃39;))# loss &＃61; fluid.layers.square_error_cost(input&＃61;prediction, label&＃61;label)# avg_loss &＃61; fluid.layers.mean(loss)# acc_set.append(float(acc.numpy()))# avg_loss_set.append(float(avg_loss.numpy()))#计算多个batch的平均损失和准确率# acc_val_mean &＃61; np.array(acc_set).mean()# avg_loss_val_mean &＃61; np.array(avg_loss_set).mean()print("acc:",cnt/sum)# print(&＃39;loss&＃61;{}, acc&＃61;{}&＃39;.format(avg_loss_val_mean, acc_val_mean))

# 读取一张本地的样例图片&＃xff0c;转变成模型输入的格式
def load_image(img_path):# 从img_path中读取图像&＃xff0c;并转为灰度图im &＃61; Image.open(img_path).convert(&＃39;L&＃39;)im.show()im &＃61; im.resize((28, 28), Image.ANTIALIAS)im &＃61; np.array(im).reshape(1, 1, 28, 28).astype(np.float32)# 图像归一化im &＃61; 1.0 - im / 127.5return im# 定义预测过程
with fluid.dygraph.guard():model &＃61; MNIST("mnist")params_file_path &＃61; &＃39;mnist&＃39;# img_path &＃61; &＃39;./work/example_1.png&＃39;img_p&＃61; &＃39;./work/example_&＃39;# 加载模型参数cnt&＃61;0model_dict, _ &＃61; fluid.load_dygraph("mnist")model.load_dict(model_dict)model.eval()for i in range(10):img_path&＃61;img_p&＃43;str(i)&＃43;&＃39;.png&＃39;tensor_img &＃61; load_image(img_path)#模型反馈10个分类标签的对应概率results &＃61; model(fluid.dygraph.to_variable(tensor_img))#取概率最大的标签作为预测输出lab &＃61; np.argsort(results.numpy())# print(lab)print("本次预测的数字是: ", lab[0][-1],i)if(lab[0][-1]&＃61;&＃61;i):cnt&＃43;&＃61;1print(cnt/10)