《PaddlePaddle从入门到炼丹》八——模型的保存与使用

原文博客&＃xff1a;Doi技术团队
链接地址&＃xff1a;https://blog.doiduoyi.com/authors/1584446358138
初心&＃xff1a;记录优秀的Doi技术团队学习经历

前言

本系列教程中&＃xff0c;前面介绍的都没有保存模型&＃xff0c;训练之后也就结束了。那么本章就介绍如果在训练过程中保存模型&＃xff0c;用于之后预测或者恢复训练&＃xff0c;又或者由于其他数据集的预训练模型。本章会介绍三种保存模型和使用模型的方式。

训练模型

在训练模型的过程中我们可以随时保存模型&＃xff0c;当时也可以在训练开始之前加载之前训练过程的模型。为了介绍这三个保存模型的方式&＃xff0c;一共编写了三个Python程序进行介绍&＃xff0c;分别是save_infer_model.py、 save_use_params_model.py、save_use_persistables_model.py。

导入相关的依赖库

import os
import shutil
import paddle as paddle
import paddle.dataset.cifar as cifar
import paddle.fluid as fluid


定义一个残差神经网络&＃xff0c;这个是目前比较常用的一个网络。该神经模型可以通过增加网络的深度达到提高识别率&＃xff0c;而不会像其他过去的神经模型那样&＃xff0c;当网络继续加深时,反而会损失精度。

# 定义残差神经网络&＃xff08;ResNet&＃xff09;
def resnet_cifar10(ipt, class_dim):def conv_bn_layer(input,ch_out,filter_size,stride,padding,act&＃61;&＃39;relu&＃39;,bias_attr&＃61;False):tmp &＃61; fluid.layers.conv2d(input&＃61;input,filter_size&＃61;filter_size,num_filters&＃61;ch_out,stride&＃61;stride,padding&＃61;padding,bias_attr&＃61;bias_attr)return fluid.layers.batch_norm(input&＃61;tmp, act&＃61;act)def shortcut(input, ch_in, ch_out, stride):if ch_in !&＃61; ch_out:return conv_bn_layer(input, ch_out, 1, stride, 0, None)else:return inputdef basicblock(input, ch_in, ch_out, stride):tmp &＃61; conv_bn_layer(input, ch_out, 3, stride, 1)tmp &＃61; conv_bn_layer(tmp, ch_out, 3, 1, 1, act&＃61;None, bias_attr&＃61;True)short &＃61; shortcut(input, ch_in, ch_out, stride)return fluid.layers.elementwise_add(x&＃61;tmp, y&＃61;short, act&＃61;&＃39;relu&＃39;)# 残差块def layer_warp(block_func, input, ch_in, ch_out, count, stride):tmp &＃61; block_func(input, ch_in, ch_out, stride)for i in range(1, count):tmp &＃61; block_func(tmp, ch_out, ch_out, 1)return tmpconv1 &＃61; conv_bn_layer(ipt, ch_out&＃61;16, filter_size&＃61;3, stride&＃61;1, padding&＃61;1)res1 &＃61; layer_warp(basicblock, conv1, 16, 16, 5, 1)res2 &＃61; layer_warp(basicblock, res1, 16, 32, 5, 2)res3 &＃61; layer_warp(basicblock, res2, 32, 64, 5, 2)pool &＃61; fluid.layers.pool2d(input&＃61;res3, pool_size&＃61;8, pool_type&＃61;&＃39;avg&＃39;, pool_stride&＃61;1)predict &＃61; fluid.layers.fc(input&＃61;pool, size&＃61;class_dim, act&＃61;&＃39;softmax&＃39;)return predict


定义输出成&＃xff0c;这里使用的数据集是cifar数据集&＃xff0c;这个数据集的图片是宽高都为32的3通道图片&＃xff0c;所以这里定义的图片输入层的shape是[3, 32, 32]。

# 定义输入层
image &＃61; fluid.layers.data(name&＃61;&＃39;image&＃39;, shape&＃61;[3, 32, 32], dtype&＃61;&＃39;float32&＃39;)
label &＃61; fluid.layers.data(name&＃61;&＃39;label&＃39;, shape&＃61;[1], dtype&＃61;&＃39;int64&＃39;)


获取残差神经网络的分类器&＃xff0c;并指定分类大小是10&＃xff0c;因为这个数据集有10个类别。

# 获取分类器
model &＃61; resnet_cifar10(image, 10)


获取交叉熵损失函数和平均准确率&＃xff0c;模型获取的准确率是Top1的。

# 获取损失函数和准确率函数
cost &＃61; fluid.layers.cross_entropy(input&＃61;model, label&＃61;label)
avg_cost &＃61; fluid.layers.mean(cost)
acc &＃61; fluid.layers.accuracy(input&＃61;model, label&＃61;label)


获取测试程序&＃xff0c;用于之后的测试使。

# 获取训练和测试程序
test_program &＃61; fluid.default_main_program().clone(for_test&＃61;True)


定义优化方法。

# 定义优化方法
optimizer &＃61; fluid.optimizer.AdamOptimizer(learning_rate&＃61;1e-3)
opts &＃61; optimizer.minimize(avg_cost)


获取训练和测试数据&＃xff0c;使用的是cifar数据集&＃xff0c;cifar数据集有两种&＃xff0c;一种是100个类别的&＃xff0c;一种是10个类别的&＃xff0c;这里使用的是10个类别的。

# 获取CIFART数据
train_reader &＃61; paddle.batch(cifar.train10(), batch_size&＃61;32)
test_reader &＃61; paddle.batch(cifar.test10(), batch_size&＃61;32)


创建执行器&＃xff0c;因为我们使用的网络是一个比较大的网络&＃xff0c;而且图片也比之前的灰度图要大很多。之前的MNIST数据集的每张图片大小784&＃xff0c;而现在的是3072。当然主要是网络比之前的要大很多很多&＃xff0c;如果使用CPU训练&＃xff0c;速度是非常慢的&＃xff0c;所以最好使用GPU进行训练。

# 创建执行器&＃xff0c;最好使用GPU&＃xff0c;CPU速度太慢了
# place &＃61; fluid.CPUPlace()
place &＃61; fluid.CUDAPlace(0)
exe &＃61; fluid.Executor(place)
# 进行参数初始化
exe.run(fluid.default_startup_program())


加载模型

创建执行器之后&＃xff0c;就可以加载之前训练的模型了&＃xff0c;有两种加载模型的方式&＃xff0c;对应着两种保存模型的方式。这两种模型&＃xff0c;可以只使用一种就可以。

• save_use_params_model.py加载之前训练保存的参数模型&＃xff0c;对应的保存接口是fluid.io.save_params。使用这些模型参数初始化网络参数&＃xff0c;进行训练

# 加载之前训练过的参数模型
save_path &＃61; &＃39;models/params_model/&＃39;
if os.path.exists(save_path):print(&＃39;使用参数模型作为预训练模型&＃39;)fluid.io.load_params(executor&＃61;exe, dirname&＃61;save_path)


• save_use_persistables_model.py加载之前训练保存的持久化变量模型&＃xff0c;对应的保存接口是fluid.io.save_persistables。使用这些模型参数初始化网络参数&＃xff0c;进行训练。

# 加载之前训练过的检查点模型
save_path &＃61; &＃39;models/persistables_model/&＃39;
if os.path.exists(save_path):print(&＃39;使用持久化变量模型作为预训练模型&＃39;)fluid.io.load_persistables(executor&＃61;exe, dirname&＃61;save_path)


开始训练模型。

# 定义输入数据维度
feeder &＃61; fluid.DataFeeder(place&＃61;place, feed_list&＃61;[image, label])for pass_id in range(10):# 进行训练for batch_id, data in enumerate(train_reader()):train_cost, train_acc &＃61; exe.run(program&＃61;fluid.default_main_program(),feed&＃61;feeder.feed(data),fetch_list&＃61;[avg_cost, acc])# 每100个batch打印一次信息if batch_id % 100 &＃61;&＃61; 0:print(&＃39;Pass:%d, Batch:%d, Cost:%0.5f, Accuracy:%0.5f&＃39; %(pass_id, batch_id, train_cost[0], train_acc[0]))# 进行测试test_accs &＃61; []test_costs &＃61; []for batch_id, data in enumerate(test_reader()):test_cost, test_acc &＃61; exe.run(program&＃61;test_program,feed&＃61;feeder.feed(data),fetch_list&＃61;[avg_cost, acc])test_accs.append(test_acc[0])test_costs.append(test_cost[0])# 求测试结果的平均值test_cost &＃61; (sum(test_costs) / len(test_costs))test_acc &＃61; (sum(test_accs) / len(test_accs))print(&＃39;Test:%d, Cost:%0.5f, Accuracy:%0.5f&＃39; % (pass_id, test_cost, test_acc))


没有加载之前保存的模型

Pass:0, Batch:0, Cost:2.73460, Accuracy:0.03125
Pass:0, Batch:100, Cost:1.93663, Accuracy:0.25000
Pass:0, Batch:200, Cost:2.02943, Accuracy:0.12500
Pass:0, Batch:300, Cost:1.94425, Accuracy:0.25000
Pass:0, Batch:400, Cost:1.87802, Accuracy:0.21875
Pass:0, Batch:500, Cost:1.71312, Accuracy:0.25000
Pass:0, Batch:600, Cost:1.94090, Accuracy:0.18750
Pass:0, Batch:700, Cost:2.08904, Accuracy:0.12500
Pass:0, Batch:800, Cost:1.89128, Accuracy:0.12500
Pass:0, Batch:900, Cost:1.95716, Accuracy:0.21875
Pass:0, Batch:1000, Cost:1.65181, Accuracy:0.34375


使用参数模型作为预训练模型训练时输出的信息&＃xff1a;

使用参数模型作为预训练模型
Pass:0, Batch:0, Cost:0.27627, Accuracy:0.90625
Pass:0, Batch:100, Cost:0.40026, Accuracy:0.87500
Pass:0, Batch:200, Cost:0.54928, Accuracy:0.78125
Pass:0, Batch:300, Cost:0.56526, Accuracy:0.84375
Pass:0, Batch:400, Cost:0.53501, Accuracy:0.78125
Pass:0, Batch:500, Cost:0.18596, Accuracy:0.93750
Pass:0, Batch:600, Cost:0.23747, Accuracy:0.96875
Pass:0, Batch:700, Cost:0.45520, Accuracy:0.84375
Pass:0, Batch:800, Cost:0.86205, Accuracy:0.71875
Pass:0, Batch:900, Cost:0.36981, Accuracy:0.87500
Pass:0, Batch:1000, Cost:0.37483, Accuracy:0.81250


持久性变量模型作为预训练模型训练时输出的信息&＃xff1a;

使用持久性变量模型作为预训练模型
Pass:0, Batch:0, Cost:0.51357, Accuracy:0.81250
Pass:0, Batch:100, Cost:0.64380, Accuracy:0.78125
Pass:0, Batch:200, Cost:0.69049, Accuracy:0.62500
Pass:0, Batch:300, Cost:0.52201, Accuracy:0.87500
Pass:0, Batch:400, Cost:0.47289, Accuracy:0.81250
Pass:0, Batch:500, Cost:0.15821, Accuracy:1.00000
Pass:0, Batch:600, Cost:0.36470, Accuracy:0.87500
Pass:0, Batch:700, Cost:0.25326, Accuracy:0.90625
Pass:0, Batch:800, Cost:0.92556, Accuracy:0.78125
Pass:0, Batch:900, Cost:0.27470, Accuracy:0.93750
Pass:0, Batch:1000, Cost:0.34562, Accuracy:0.87500


保存模型

训练结束之后&＃xff0c;就可以进行保存模型。当然也不一样要全部训练结束才保存模型&＃xff0c;我们可以在每一个Pass训练结束之后保存一次模型。这里使用三个程序分别保存&＃xff0c;当然也可以一次全部保存。

• save_infer_model.py保存预测模型&＃xff0c;之后用于预测图像。通过使用这个方式保存的模型&＃xff0c;之后预测是非常方便的&＃xff0c;具体可以阅读预测部分。

# 保存预测模型
save_path &＃61; &＃39;models/infer_model/&＃39;
# 删除旧的模型文件
shutil.rmtree(save_path, ignore_errors&＃61;True)
# 创建保持模型文件目录
os.makedirs(save_path)
# 保存预测模型
fluid.io.save_inference_model(save_path, feeded_var_names&＃61;[image.name], target_vars&＃61;[model], executor&＃61;exe)


• save_use_params_model.py保存参数模型&＃xff0c;之后用于初始化模型&＃xff0c;进行训练。

# 保存参数模型
save_path &＃61; &＃39;models/params_model/&＃39;
# 删除旧的模型文件
shutil.rmtree(save_path, ignore_errors&＃61;True)
# 创建保持模型文件目录
os.makedirs(save_path)
# 保存参数模型
fluid.io.save_params(executor&＃61;exe, dirname&＃61;save_path)


• save_use_persistables_model.py保存持久化变量模型&＃xff0c;之后用于初始化模型&＃xff0c;进行训练。

# 保存持久化变量模型
save_path &＃61; &＃39;models/persistables_model/&＃39;
# 删除旧的模型文件
shutil.rmtree(save_path, ignore_errors&＃61;True)
# 创建保持模型文件目录
os.makedirs(save_path)
# 保存持久化变量模型
fluid.io.save_persistables(executor&＃61;exe, dirname&＃61;save_path)


预测

在训练的时候使用fluid.io.save_inference_model接口保存的模型&＃xff0c;可以通过以下use_infer_model.py程序预测&＃xff0c;通过这个程序&＃xff0c;读者会发现通过这个接口保存的模型&＃xff0c;再次预测是非常简单的。

导入相关的依赖库

import paddle.fluid as fluid
from PIL import Image
import numpy as np


创建一个执行器&＃xff0c;预测图片可以使用CPU执行&＃xff0c;这个速度不会太慢。

# 创建执行器
place &＃61; fluid.CPUPlace()
exe &＃61; fluid.Executor(place)
exe.run(fluid.default_startup_program())


加载模型&＃xff0c;这个是整个预测程序的重点&＃xff0c;通过加载预测模型我们就可以轻松获取得到一个预测程序&＃xff0c;输出参数的名称&＃xff0c;以及分类器的输出。

# 保存预测模型路径
save_path &＃61; &＃39;models/infer_model/&＃39;
# 从模型中获取预测程序、输入数据名称列表、分类器
[infer_program, feeded_var_names, target_var] &＃61; fluid.io.load_inference_model(dirname&＃61;save_path, executor&＃61;exe)


定义一个图像预处理的函数&＃xff0c;这个函数可以统一图像大小&＃xff0c;修改图像的存储顺序和图片的通道顺序&＃xff0c;转换成numpy数据。

# 预处理图片
def load_image(file):im &＃61; Image.open(file)im &＃61; im.resize((32, 32), Image.ANTIALIAS)im &＃61; np.array(im).astype(np.float32)# PIL打开图片存储顺序为H(高度)&＃xff0c;W(宽度)&＃xff0c;C(通道)。# PaddlePaddle要求数据顺序为CHW&＃xff0c;所以需要转换顺序。im &＃61; im.transpose((2, 0, 1))# CIFAR训练图片通道顺序为B(蓝),G(绿),R(红),# 而PIL打开图片默认通道顺序为RGB,因为需要交换通道。im &＃61; im[(2, 1, 0), :, :] # BGRim &＃61; im / 255.0im &＃61; np.expand_dims(im, axis&＃61;0)return im


获取数据并进行预测。这里对比之前的预测方式&＃xff0c;不需要再输入一个模拟的标签&＃xff0c;因为在保存模型的时候&＃xff0c;已经对这部分进行修剪&＃xff0c;去掉了这部分不必要的输入。

# 获取图片数据
img &＃61; load_image(&＃39;image/cat.png&＃39;)# 执行预测
result &＃61; exe.run(program&＃61;infer_program,feed&＃61;{feeded_var_names[0]: img},fetch_list&＃61;target_var)


执行预测之后&＃xff0c;得到一个数组&＃xff0c;这个数组是表示每个类别的概率&＃xff0c;获取最大概率的标签&＃xff0c;并根据标签获取获取该类的名称。

# 显示图片并输出结果最大的label
lab &＃61; np.argsort(result)[0][0][-1]names &＃61; [&＃39;飞机&＃39;, &＃39;汽车&＃39;, &＃39;鸟&＃39;, &＃39;猫&＃39;, &＃39;鹿&＃39;, &＃39;狗&＃39;, &＃39;青蛙&＃39;, &＃39;马&＃39;, &＃39;船&＃39;, &＃39;卡车&＃39;]print(&＃39;预测结果标签为&＃xff1a;%d&＃xff0c; 名称为&＃xff1a;%s&＃xff0c; 概率为&＃xff1a;%f&＃39; % (lab, names[lab], result[0][0][lab]))


预测输出结果&＃xff1a;

预测结果标签为&＃xff1a;3&＃xff0c; 名称为&＃xff1a;猫&＃xff0c; 概率为&＃xff1a;0.864919


关于模型的保存和使用就介绍到这里&＃xff0c;读者可以使用这个方式保存之前学过的模型。在这个基础上&＃xff0c;下一章我们介绍如何使用预训练模型。

同步到百度AI Studio平台&＃xff1a;https://aistudio.baidu.com/aistudio/projectDetail/38741
同步到科赛网K-Lab平台&＃xff1a;https://www.kesci.com/home/project/5c3f495589f4aa002b845d6b
项目代码GitHub地址&＃xff1a;https://github.com/yeyupiaoling/LearnPaddle2/tree/master/note8

注意&＃xff1a; 最新代码以GitHub上的为准

上一章&＃xff1a;《PaddlePaddle从入门到炼丹》七——强化学习

下一章&＃xff1a;《PaddlePaddle从入门到炼丹》九——迁移学习

参考资料