热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

使用迁移学习(TransferLearning)完成图像的多标签分类(MultiLabel)任务sunwq06

使用迁移学习(TransferLearning)完成图像的多标签分类(Multi-Label)任务本文通过迁移学习将训练好的模型应用到图像的多标签分类问题中本文通过迁移学习将训练好

使用迁移学习(Transfer Learning)完成图像的多标签分类(Multi-Label)任务


本文通过迁移学习将训练好的模型应用到图像的多标签分类问题中

本文通过迁移学习将训练好的VGG16模型应用到图像的多标签分类问题中。该项目数据来自于Kaggle,每张图片可同时属于多个标签。模型的准确度使用F score进行量化,如下表所示:




















标签预测为Positive(1)预测为Negative(0)
真值为Positive(1)TPFN
真值为Negative(0)FPTN

例如真实标签是(1,0,1,1,0,0), 预测标签是(1,1,0,1,1,0), 则TP=2, FN=1, FP=2, TN=1。$$Precision=\frac{TP}{TP+FP},\text{  }Recall=\frac{TP}{TP+FN},\text{  }F{\_}score=\frac{(1+\beta^2)*Presicion*Recall}{Recall+\beta^2*Precision}$$其中$\beta$越小,F score中Precision的权重越大,$\beta$等于0时F score就变为Precision;$\beta$越大,F score中Recall的权重越大,$\beta$趋于无穷大时F score就变为Recall。可以在Keras中自定义该函数(y_pred表示预测概率):

from tensorflow.keras import backend

# calculate fbeta score for multi-label classification
def fbeta(y_true, y_pred, beta=2):
# clip predictions
y_pred = backend.clip(y_pred, 0, 1)
# calculate elements for each sample
tp = backend.sum(backend.round(backend.clip(y_true * y_pred, 0, 1)), axis=1)
fp
= backend.sum(backend.round(backend.clip(y_pred - y_true, 0, 1)), axis=1)
fn
= backend.sum(backend.round(backend.clip(y_true - y_pred, 0, 1)), axis=1)
# calculate precision
p = tp / (tp + fp + backend.epsilon())
# calculate recall
r = tp / (tp + fn + backend.epsilon())
# calculate fbeta, averaged across samples
bb = beta ** 2
fbeta_score
= backend.mean((1 + bb) * (p * r) / (bb * p + r + backend.epsilon()))
return fbeta_score

此外在损失函数的使用上多标签分类和多类别(multi-class)分类也有区别,多标签分类使用binary_crossentropy,假设一个样本的真实标签是(1,0,1,1,0,0),预测概率是(0.2, 0.3, 0.4, 0.7, 0.9, 0.2): $$binary{\_}crossentropy\text{  }loss=-(\ln 0.2 + \ln 0.7 + \ln 0.4 + \ln 0.7 + \ln 0.1 + \ln 0.8)/6=0.96$$另外多标签分类输出层的激活函数选择sigmoid而非softmax。模型架构如下所示:

from tensorflow.keras.layers import Dense, Flatten
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.applications.vgg16 import VGG16
from tensorflow.keras.models import Model
def define_model(in_shape=(128, 128, 3), out_shape=17):
# load model
base_model = VGG16(weights=\'imagenet\', include_top=False, input_shape=in_shape)
# mark loaded layers as not trainable
for layer in base_model.layers: layer.trainable = False
# make the last block trainable
tune_layers = [layer.name for layer in base_model.layers if layer.name.startswith(\'block5_\')]
for layer_name in tune_layers: base_model.get_layer(layer_name).trainable = True
# add new classifier layers
flat1 = Flatten()(base_model.layers[-1].output)
class1
= Dense(128, activation=\'relu\', kernel_initializer=\'he_uniform\')(flat1)
output
= Dense(out_shape, activation=\'sigmoid\')(class1)
# define new model
model = Model(inputs=base_model.input, outputs=output)
# compile model
opt = Adam(learning_rate=1e-3)
model.compile(optimizer
=opt, loss=\'binary_crossentropy\', metrics=[fbeta])
model.summary()
return model

从Kaggle网站上下载数据并解压,将其处理成可被模型读取的数据格式

from os import listdir
from numpy import zeros, asarray, savez_compressed
from pandas import read_csv
from tensorflow.keras.preprocessing.image import load_img, img_to_array
# create a mapping of tags to integers given the loaded mapping file
def create_tag_mapping(mapping_csv):
labels
= set() # create a set of all known tags
for i in range(len(mapping_csv)):
tags
= mapping_csv[\'tags\'][i].split(\' \') # convert spaced separated tags into an array of tags
labels.update(tags) # add tags to the set of known labels
labels = sorted(list(labels)) # convert set of labels to a sorted list
# dict that maps labels to integers, and the reverse
labels_map = {labels[i]:i for i in range(len(labels))}
inv_labels_map
= {i:labels[i] for i in range(len(labels))}
return labels_map, inv_labels_map
# create a mapping of filename to a list of tags
def create_file_mapping(mapping_csv):
mapping
= dict()
for i in range(len(mapping_csv)):
name, tags
= mapping_csv[\'image_name\'][i], mapping_csv[\'tags\'][i]
mapping[name]
= tags.split(\' \')
return mapping
# create a one hot encoding for one list of tags
def one_hot_encode(tags, mapping):
encoding
= zeros(len(mapping), dtype=\'uint8\') # create empty vector
# mark 1 for each tag in the vector
for tag in tags: encoding[mapping[tag]] = 1
return encoding
# load all images into memory
def load_dataset(path, file_mapping, tag_mapping):
photos, targets
= list(), list()
# enumerate files in the directory
for filename in listdir(path):
photo
= load_img(path + filename, target_size=(128,128)) # load image
photo = img_to_array(photo, dtype=\'uint8\') # convert to numpy array
tags = file_mapping[filename[:-4]] # get tags
target = one_hot_encode(tags, tag_mapping) # one hot encode tags
photos.append(photo)
targets.append(target)
X
= asarray(photos, dtype=\'uint8\')
y
= asarray(targets, dtype=\'uint8\')
return X, y
filename
= \'train_v2.csv\' # load the target file
mapping_csv = read_csv(filename)
tag_mapping, _
= create_tag_mapping(mapping_csv) # create a mapping of tags to integers
file_mapping = create_file_mapping(mapping_csv) # create a mapping of filenames to tag lists
folder = \'train-jpg/\' # load the jpeg images
X, y = load_dataset(folder, file_mapping, tag_mapping)
print(X.shape, y.shape)
savez_compressed(
\'planet_data.npz\', X, y) # save both arrays to one file in compressed format

View Code

接下来再建立两个辅助函数,第一个函数用来分割训练集和验证集,第二个函数用来画出模型在训练过程中的学习曲线

import numpy as np
from matplotlib import pyplot
from sklearn.model_selection import train_test_split
# load train and test dataset
def load_dataset():
# load dataset
data = np.load(\'planet_data.npz\')
X, y
= data[\'arr_0\'], data[\'arr_1\']
# separate into train and test datasets
trainX, testX, trainY, testY = train_test_split(X, y, test_size=0.3, random_state=1)
print(trainX.shape, trainY.shape, testX.shape, testY.shape)
return trainX, trainY, testX, testY
# plot diagnostic learning curves
def summarize_diagnostics(history):
# plot loss
pyplot.subplot(121)
pyplot.title(
\'Cross Entropy Loss\')
pyplot.plot(history.history[
\'loss\'], color=\'blue\', label=\'train\')
pyplot.plot(history.history[
\'val_loss\'], color=\'orange\', label=\'test\')
# plot accuracy
pyplot.subplot(122)
pyplot.title(
\'Fbeta\')
pyplot.plot(history.history[
\'fbeta\'], color=\'blue\', label=\'train\')
pyplot.plot(history.history[
\'val_fbeta\'], color=\'orange\', label=\'test\')
pyplot.show()

View Code

使用数据扩充技术(Data Augmentation)对模型进行训练

from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.applications.vgg16 import preprocess_input
from tensorflow.keras.callbacks import ModelCheckpoint
trainX, trainY, testX, testY
= load_dataset() # load dataset
#
create data generator using augmentation
#
vertical flip is reasonable since the pictures are satellite images
train_datagen = ImageDataGenerator(horizontal_flip=True, vertical_flip=True, rotation_range=90, preprocessing_function=preprocess_input)
test_datagen
= ImageDataGenerator(preprocessing_function=preprocess_input)
# prepare generators
train_it = train_datagen.flow(trainX, trainY, batch_size=128)
test_it
= test_datagen.flow(testX, testY, batch_size=128)
# define model
model = define_model()
# fit model
#
When one epoch ends, the validation generator will yield validation_steps batches, then average the evaluation results of all batches
checkpointer = ModelCheckpoint(filepath=\'./weights.best.vgg16.hdf5\', verbose=1, save_best_Only=True)
history
= model.fit_generator(train_it, steps_per_epoch=len(train_it), validation_data=test_it, validation_steps=len(test_it), \
epochs
=15, callbacks=[checkpointer], verbose=0)
# evaluate optimal model
#
For simplicity, the validation set is used to test the model here. In fact an entirely new test set should have been used.
model.load_weights(\'./weights.best.vgg16.hdf5\') #load stored optimal coefficients
loss, fbeta = model.evaluate_generator(test_it, steps=len(test_it), verbose=0)
print(\'> loss=%.3f, fbeta=%.3f\' % (loss, fbeta)) # loss=0.108, fbeta=0.884
model.save(\'final_model.h5\')
# learning curves
summarize_diagnostics(history)

 蓝线代表训练集,黄线代表验证集



推荐阅读
  • 本文详细介绍了Akka中的BackoffSupervisor机制,探讨其在处理持久化失败和Actor重启时的应用。通过具体示例,展示了如何配置和使用BackoffSupervisor以实现更细粒度的异常处理。 ... [详细]
  • 前言--页数多了以后需要指定到某一页(只做了功能,样式没有细调)html ... [详细]
  • 技术分享:从动态网站提取站点密钥的解决方案
    本文探讨了如何从动态网站中提取站点密钥,特别是针对验证码(reCAPTCHA)的处理方法。通过结合Selenium和requests库,提供了详细的代码示例和优化建议。 ... [详细]
  • 本文将介绍如何编写一些有趣的VBScript脚本,这些脚本可以在朋友之间进行无害的恶作剧。通过简单的代码示例,帮助您了解VBScript的基本语法和功能。 ... [详细]
  • golang常用库:配置文件解析库/管理工具viper使用
    golang常用库:配置文件解析库管理工具-viper使用-一、viper简介viper配置管理解析库,是由大神SteveFrancia开发,他在google领导着golang的 ... [详细]
  • 深入解析Android自定义View面试题
    本文探讨了Android Launcher开发中自定义View的重要性,并通过一道经典的面试题,帮助开发者更好地理解自定义View的实现细节。文章不仅涵盖了基础知识,还提供了实际操作建议。 ... [详细]
  • 本文详细介绍了Java中org.neo4j.helpers.collection.Iterators.single()方法的功能、使用场景及代码示例,帮助开发者更好地理解和应用该方法。 ... [详细]
  • 本文介绍如何使用Objective-C结合dispatch库进行并发编程,以提高素数计数任务的效率。通过对比纯C代码与引入并发机制后的代码,展示dispatch库的强大功能。 ... [详细]
  • 导航栏样式练习:项目实例解析
    本文详细介绍了如何创建一个具有动态效果的导航栏,包括HTML、CSS和JavaScript代码的实现,并附有详细的说明和效果图。 ... [详细]
  • 深入理解Tornado模板系统
    本文详细介绍了Tornado框架中模板系统的使用方法。Tornado自带的轻量级、高效且灵活的模板语言位于tornado.template模块,支持嵌入Python代码片段,帮助开发者快速构建动态网页。 ... [详细]
  • 本文基于刘洪波老师的《英文词根词缀精讲》,深入探讨了多个重要词根词缀的起源及其相关词汇,帮助读者更好地理解和记忆英语单词。 ... [详细]
  • 1.如何在运行状态查看源代码?查看函数的源代码,我们通常会使用IDE来完成。比如在PyCharm中,你可以Ctrl+鼠标点击进入函数的源代码。那如果没有IDE呢?当我们想使用一个函 ... [详细]
  • 本文介绍了如何使用JQuery实现省市二级联动和表单验证。首先,通过change事件监听用户选择的省份,并动态加载对应的城市列表。其次,详细讲解了使用Validation插件进行表单验证的方法,包括内置规则、自定义规则及实时验证功能。 ... [详细]
  • 使用 Azure Service Principal 和 Microsoft Graph API 获取 AAD 用户列表
    本文介绍了一段通用代码示例,该代码不仅能够操作 Azure Active Directory (AAD),还可以通过 Azure Service Principal 的授权访问和管理 Azure 订阅资源。Azure 的架构可以分为两个层级:AAD 和 Subscription。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
author-avatar
与幸福约定2502895163
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有