利用微调模型来完成图像分类的任务

学习目标

• 知道微调的原理
• 能够利用微调模型来完成图像的分类任务

1.微调

如何在只有6万张图像的MNIST训练数据集上训练模型。学术界当下使用最广泛的大规模图像数据集ImageNet&＃xff0c;它有超过1,000万的图像和1,000类的物体。然而&＃xff0c;我们平常接触到数据集的规模通常在这两者之间。假设我们想从图像中识别出不同种类的椅子&＃xff0c;然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子&＃xff0c;为每种椅子拍摄1,000张不同角度的图像&＃xff0c;然后在收集到的图像数据集上训练一个分类模型。另外一种解决办法是应用迁移学习&＃xff08;transfer learning&＃xff09;&＃xff0c;将从源数据集学到的知识迁移到目标数据集上。例如&＃xff0c;虽然ImageNet数据集的图像大多跟椅子无关&＃xff0c;但在该数据集上训练的模型可以抽取较通用的图像特征&＃xff0c;从而能够帮助识别边缘、纹理、形状和物体组成等。这些类似的特征对于识别椅子也可能同样有效。

微调由以下4步构成。

1. 在源数据集&＃xff08;如ImageNet数据集&＃xff09;上预训练一个神经网络模型&＃xff0c;即源模型。
2. 创建一个新的神经网络模型&＃xff0c;即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识&＃xff0c;且这些知识同样适用于目标数据集。我们还假设源模型的输出层跟源数据集的标签紧密相关&＃xff0c;因此在目标模型中不予采用。
3. 为目标模型添加一个输出大小为目标数据集类别个数的输出层&＃xff0c;并随机初始化该层的模型参数。
4. 在目标数据集&＃xff08;如椅子数据集&＃xff09;上训练目标模型。我们将从头训练输出层&＃xff0c;而其余层的参数都是基于源模型的参数微调得到的。

当目标数据集远小于源数据集时&＃xff0c;微调有助于提升模型的泛化能力。

2.热狗识别

接下来我们来实践一个具体的例子&＃xff1a;热狗识别。将基于一个小数据集对在ImageNet数据集上训练好的ResNet模型进行微调。该小数据集含有数千张热狗或者其他事物的图像。我们将使用微调得到的模型来识别一张图像中是否包含热狗。

首先&＃xff0c;导入实验所需的工具包。

import tensorflow as tf
import numpy as np

2.1 获取数据集¶

我们首先将数据集放在路径hotdog/data之下:

实现时实例化模型架构&＃xff1a;

tf.keras.applications.ResNet50(include_top&＃61;True, weights&＃61;&＃39;imagenet&＃39;, input_tensor&＃61;None, input_shape&＃61;None,pooling&＃61;None, classes&＃61;1000, **kwargs
)

主要参数&＃xff1a;

• include_top: 是否包括顶层的全连接层。
• weights: None 代表随机初始化&＃xff0c; &＃39;imagenet&＃39; 代表加载在 ImageNet 上预训练的权值。
• input_shape: 可选&＃xff0c;输入尺寸元组&＃xff0c;仅当 include_top&＃61;False 时有效&＃xff0c;否则输入形状必须是 (224, 224, 3)&＃xff08;channels_last 格式&＃xff09;或 (3, 224, 224)&＃xff08;channels_first 格式&＃xff09;。它必须为 3 个输入通道&＃xff0c;且宽高必须不小于 32&＃xff0c;比如 (200, 200, 3) 是一个合法的输入尺寸。

在该案例中我们使用resNet50预训练模型构建模型&＃xff1a;

# 加载预训练模型
ResNet50 &＃61; tf.keras.applications.ResNet50(weights&＃61;&＃39;imagenet&＃39;, input_shape&＃61;(224,224,3))
# 设置所有层不可训练
for layer in ResNet50.layers:layer.trainable &＃61; False
# 设置模型
net &＃61; tf.keras.models.Sequential()
# 预训练模型
net.add(ResNet50)
# 展开
net.add(tf.keras.layers.Flatten())
# 二分类的全连接层
net.add(tf.keras.layers.Dense(2, activation&＃61;&＃39;softmax&＃39;))

接下来我们使用之前定义好的ImageGenerator将训练集图片送入ResNet50进行训练。

# 模型编译&＃xff1a;指定优化器&＃xff0c;损失函数和评价指标
net.compile(optimizer&＃61;&＃39;adam&＃39;,loss&＃61;&＃39;categorical_crossentropy&＃39;,metrics&＃61;[&＃39;accuracy&＃39;])
# 模型训练&＃xff1a;指定数据&＃xff0c;每一个epoch中只运行10个迭代&＃xff0c;指定验证数据集
history &＃61; net.fit(train_data_gen,steps_per_epoch&＃61;10,epochs&＃61;3,validation_data&＃61;test_data_gen,validation_steps&＃61;10)
Epoch 1/3
10/10 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;] - 28s 3s/step - loss: 0.6931 - accuracy: 0.5031 - val_loss: 0.6930 - val_accuracy: 0.5094
Epoch 2/3
10/10 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;] - 29s 3s/step - loss: 0.6932 - accuracy: 0.5094 - val_loss: 0.6935 - val_accuracy: 0.4812
Epoch 3/3
10/10 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;] - 31s 3s/step - loss: 0.6935 - accuracy: 0.4844 - v