12_TFRecord数据打包

4.TensorFlow中的数据读取方式

4.1直接将数据加载到内存中

在处理小规模数据&＃xff0c;比如mnist的时候可以将数据直接存入内存。但是对于较大的数据集&＃xff0c;这是很麻烦的。因此好的方法就是将数据存放在磁盘上&＃xff0c;在需要的时候再加载进内存&＃xff0c;比如训练时每次加载一个batchsize的数据。
但是这样的方法也是存在问题的&＃xff0c;如下图&＃xff0c;因为计算和加载数据是不同步的&＃xff0c;若计算设备完成 计算时数据还未完成加载&＃xff0c;这个时候就会造成计算训练处的延迟&＃xff0c;导致资源浪费。

因此更好地办法是预取数据并且使用独立的线程进行加载和训练。

4.2TFRecord

TensorFlow提供了TFRecord:高效的TensorFlow文件格式来统一存储数据&＃xff0c;TFRecord就是一个简单的包含序列化输入数据的二进制文件&＃xff0c;序列化是基于协议缓冲区的&＃xff0c;这样可以快速地实现数据的复制&＃xff0c;移动&＃xff0c;读取和存储。
如下图&＃xff0c;TensorFlow数据读取机制(数据->文件名队列->内存队列->计算设备读取数据)&＃xff1a;

首先要理解EPOCH的概念&＃xff0c;一个epoch就是把数据集里的所有图片都学习了一遍&＃xff0c;比如一个数据集有100张图片&＃xff0c;训练时batchsize为10&＃xff0c;那么一个epoch就是把这100张图片都计算了一遍&＃xff0c;而一个epoch就包含了10&＃xff08;总量100除以每批的数据量10&＃xff09;个batch的数据。文件名队列就构成了数据的队列&＃xff0c;设定shuffle参数可以让数据乱序。
比如原来有A,B,C三张图片&＃xff0c;若设定训练3个epoch&＃xff0c;shuffle&＃61;false&＃xff0c;则最终文件名队列中的结果就是[A,B,C,A,B,C,A,B,C]。
比如原来有A,B,C三张图片&＃xff0c;若设定训练3个epoch&＃xff0c;shuffle&＃61;true&＃xff0c;则最终文件名队列中的结果可能是[A,C,B,B,C,A,C,A,B]。每个epoch内的ABC顺序不一定。

4.3数据操作实践cifar_10数据集

4.3.1下载并解析cifar10

首先下载cifar10数据集&＃xff0c;由于官网下载可能很慢&＃xff0c;我将数据集放在了百度网盘里(提取码o5yu)&＃xff1a;[Download cifar10]。

我的目录结构&＃xff1a;

.
├── cifar10_bin_to_jpg.py
├── cifar10_jpg_to_tfrecord.py
├── test_data
│ └── data_batch_6
└── train_data├── batches.meta├── cifar10_jpgs├── data_batch_1├── data_batch_2├── data_batch_3├── data_batch_4└── data_batch_5

首先解析下载下来的二进制文件&＃xff0c;将里面的数据解析并存放到每个数据到train_data/cifar10_jpgs目录中对应label的目录下。
cifar10_bin_to_jpg.py:

import os
import pickle
import numpy as np
import cv2classes&＃61; [&＃39;airplane&＃39;,&＃39;automobile&＃39;,&＃39;bird&＃39;,&＃39;cat&＃39;,&＃39;deer&＃39;,&＃39;dog&＃39;,&＃39;frog&＃39;,&＃39;horse&＃39;,&＃39;ship&＃39;,&＃39;truck&＃39;]def unpickle(file):with open(file, &＃39;rb&＃39;) as fo:dict &＃61; pickle.load(fo, encoding&＃61;&＃39;bytes&＃39;)return dictdata &＃61; []
labels &＃61; []
for i in range(1,6):file_name &＃61; "train_data/data_batch_"&＃43;str(i)result &＃61; unpickle(file_name)data &＃43;&＃61; list(result[b"data"])labels &＃43;&＃61; list(result[b"labels"])print(file_name&＃43;" loaded.")imgs &＃61; np.reshape(data, [-1, 3, 32, 32])for i in range(imgs.shape[0]):im_data &＃61; imgs[i, ...]im_data &＃61; np.transpose(im_data, [1, 2, 0])im_data &＃61; cv2.cvtColor(im_data, cv2.COLOR_RGB2BGR)f &＃61; "{}/{}".format("train_data/cifar10_jpgs", classes[labels[i]])if not os.path.exists(f):os.mkdir(f)cv2.imwrite("{}/{}.jpg".format(f, str(i)), im_data)print("All Done.")


完成后可以在train_data/cifar10_jpgs目录下看到十个类别的数据里面的图片数据。

4.3.将解析后的cifar10打包成tfrecord文件。

涉及到的tf api:
数据读取&＃xff1a;tf.train.string_input_producer
数据解析&＃xff1a;tf.TFRecordReader tf.parse_single_example
数据写入&＃xff1a;tf.python_io.TFRecordWriter

数据写入:
writer &＃61; tf.python_io.TFRecordWriter()
example &＃61; tf.train.example() Feature{图像数据&＃xff0c;图像label等。。}
//序列化后写入
writer.write(example.SerializeToString())
writer.close()

import tensorflow as tf
import glob
import cv2
import numpy as np
classes &＃61; [&＃39;airplane&＃39;,&＃39;automobile&＃39;,&＃39;bird&＃39;,&＃39;cat&＃39;,&＃39;deer&＃39;,&＃39;dog&＃39;,&＃39;frog&＃39;,&＃39;horse&＃39;,&＃39;ship&＃39;,&＃39;truck&＃39;]idx &＃61; 0
im_data &＃61; []
im_labels &＃61; []
for class_ in classes:path &＃61; "train_data/cifar10_jpgs/" &＃43; class_im_list &＃61; glob.glob(path &＃43; "/*")im_label &＃61; [idx for i in range(im_list.__len__())]idx &＃43;&＃61; 1im_data &＃43;&＃61; im_listim_labels &＃43;&＃61; im_label#实例化一个TFRecordWriter对象
tfrecord_file &＃61; "train_data/train_data.tfrecord"
writer &＃61; tf.python_io.TFRecordWriter(tfrecord_file)index &＃61; [i for i in range(im_data.__len__())]
np.random.shuffle(index)print("strat make")
print("total:",im_data.__len__())for i in range(im_data.__len__()):if i%5000 is 0 :print(i)im_d &＃61; im_data[index[i]]im_l &＃61; im_labels[index[i]]data &＃61; cv2.imread(im_d)#tf.train.Example是一个存放数据的结构&＃xff0c;一个example包含一个Features对象ex &＃61; tf.train.Example(features &＃61; tf.train.Features(feature &＃61; {"image":tf.train.Feature(bytes_list&＃61;tf.train.BytesList(value&＃61;[data.tobytes()])),"label": tf.train.Feature(int64_list&＃61;tf.train.Int64List(value&＃61;[im_l])),}))writer.write(ex.SerializeToString())writer.close()
print("make tfrecord_file done.")