数据项_Tensorflow_datasets中batch(batch_size)和shuffle(buffer_size)理解

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Tensorflow_datasets中batch(batch_size)和shuffle(buffer_size)理解相关的知识，希望对你有一定的参考价值。

相关内容引用&＃xff1a;https://zhuanlan.zhihu.com/p/42417456

1.shuffle(buffer_size)

tensorflow中的数据集类Dataset有一个shuffle方法&＃xff0c;用来打乱数据集中数据顺序&＃xff0c;训练时非常常用。其中shuffle方法有一个参数buffer_size&＃xff0c;文档的解释如下&＃xff1a;

dataset.shuffle(buffer_size, seed&＃61;None, reshuffle_each_iteration&＃61;None) 
Randomly shuffles the elements of this dataset.
This dataset fills a buffer with &＃96;buffer_size&＃96; elements, then randomly
samples elements from this buffer, replacing the selected elements with new
elements. For perfect shuffling, a buffer size greater than or equal to the
full size of the dataset is required.
For instance, if your dataset contains 10,000 elements but &＃96;buffer_size&＃96; is
set to 1,000, then &＃96;shuffle&＃96; will initially select a random element from
only the first 1,000 elements in the buffer. Once an element is selected,
its space in the buffer is replaced by the next (i.e. 1,001-st) element,
maintaining the 1,000 element buffer.
&＃96;reshuffle_each_iteration&＃96; controls whether the shuffle order should be
different for each epoch.

首先&＃xff0c;Dataset会取所有数据的前buffer_size数据项&＃xff0c;填充 buffer&＃xff0c;如下图

然后&＃xff0c;从buffer中随机选择一条数据输出。假设随机选中了&＃xff0c;item 7&＃xff0c;那么buffer中item 7对应的位置就空出来了 。

然后&＃xff0c;从Dataset中顺序选择最新的一条数据填充到buffer中。这里顺序选择到的是item 10。

然后在从Buffer中随机选择下一条数据输出。

用一个实际的例子来说明&＃xff1a;

import tensorflow as tf
import numpy as np
buffer_size&＃61;4
data &＃61; np.array([0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0])
label &＃61; np.array([0, 0, 1, 0, 1, 1, 0, 1, 0, 0])
dataset &＃61; tf.data.Dataset.from_tensor_slices((data, label))
dataset &＃61; dataset.shuffle(buffer_size)
it &＃61; dataset.__iter__()
for i in range(10):
x, y &＃61; it.next()
print(x, y)

 输出&＃xff1a;

tf.Tensor(0.1, shape&＃61;(), dtype&＃61;float64) tf.Tensor(0, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(0.2, shape&＃61;(), dtype&＃61;float64) tf.Tensor(0, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(0.6, shape&＃61;(), dtype&＃61;float64) tf.Tensor(1, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(0.5, shape&＃61;(), dtype&＃61;float64) tf.Tensor(1, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(0.8, shape&＃61;(), dtype&＃61;float64) tf.Tensor(1, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(0.7, shape&＃61;(), dtype&＃61;float64) tf.Tensor(0, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(0.4, shape&＃61;(), dtype&＃61;float64) tf.Tensor(0, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(0.3, shape&＃61;(), dtype&＃61;float64) tf.Tensor(1, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(0.9, shape&＃61;(), dtype&＃61;float64) tf.Tensor(0, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(1.0, shape&＃61;(), dtype&＃61;float64) tf.Tensor(0, shape&＃61;(), dtype&＃61;int32)

如此&＃xff0c;shuffle 后的dataset序列为上述output中的序列。

2.batch(batch_size)

import tensorflow as tf
import numpy as np
dataset &＃61; tf.data.Dataset.from_tensor_slices(np.array([1, 2, 3, 4, 5, 6,
7,8,9,10,11,12,13,14,15,16]))
#有序的
batch_dataset&＃61;dataset.batch(4)
for ele in batch_dataset:
print(ele)

output:

tf.Tensor([1 2 3 4], shape&＃61;(4,), dtype&＃61;int32)
tf.Tensor([5 6 7 8], shape&＃61;(4,), dtype&＃61;int32)
tf.Tensor([ 9 10 11 12], shape&＃61;(4,), dtype&＃61;int32)
tf.Tensor([13 14 15 16], shape&＃61;(4,), dtype&＃61;int32)

这里batch就是从dataset中按顺序分成4个批次&＃xff0c;仔细看可以知道上面所有输出结果都是有序的&＃xff0c;这在机器学习中用来训练模型是浪费资源且没有意义的&＃xff0c;所以我们需要将数据打乱&＃xff0c;这样每批次训练的时候所用到的数据集是不一样的&＃xff0c;这样啊可以提高模型训练效果。

因此需要和shuffle结合起来使用。

3.shuffle&＃xff08;buffer_size&＃xff09;&＃43; batch(batch_size)

import tensorflow as tf
import numpy as np
dataset &＃61; tf.data.Dataset.from_tensor_slices(np.array([1, 2, 3, 4, 5, 6,
7,8,9,10,11,12,13,14,15,16]))
dataset1&＃61;dataset.shuffle(16)
dataset2&＃61;dataset1.batch(2)
for i in dataset1:
print(i)
print("separate")
for j in dataset2:
print(j)


output&＃xff1a;

tf.Tensor(3, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(1, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(16, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(15, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(13, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(12, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(6, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(5, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(11, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(4, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(10, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(7, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(8, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(14, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(2, shape&＃61;(), dtype&＃61;int32)
tf.Tensor(9, shape&＃61;(), dtype&＃61;int32)
separate
tf.Tensor([8 2], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([4 7], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([ 3 12], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([ 9 16], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([10 5], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([15 14], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([ 1 13], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([ 6 11], shape&＃61;(2,), dtype&＃61;int32)

在这里buffer_size&＃xff1a;该函数的作用就是先构建buffer&＃xff0c;大小为buffer_size&＃xff0c;然后从dataset中提取数据将它填满。batch操作&＃xff0c;从buffer中提取。如果buffer_size小于Dataset的大小&＃xff0c;每次提取buffer中的数据&＃xff0c;会再次从Dataset中抽取数据将它填满&＃xff08;当然是之前没有抽过的&＃xff09;。所以一般最好的方式是buffer_size&＃61;Dataset_size
 

交换shuffle 和 batch的前后会有什么不同呢&＃xff1f;

t1 &＃61; t.shuffle(int).batch(int)

#这个是先打乱t的顺序&＃xff0c;然后batch

t2 &＃61; t.batch(int).shuffle(int)

#这个是打乱batch的顺序

dataset3&＃61;dataset.shuffle(2)
dataset4&＃61;dataset3.batch(16)
for i in dataset3:
print(i)
print("separate")
for j in dataset4:
print(j)

输出&＃xff1a;

tf.Tensor([1 2], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([3 4], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([5 6], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([7 8], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([ 9 10], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([11 12], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([13 14], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([15 16], shape&＃61;(2,), dtype&＃61;int32)
separate
tf.Tensor([11 12], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([13 14], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([15 16], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([5 6], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([1 2], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([3 4], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([7 8], shape&＃61;(2,), dtype&＃61;int32)
tf.Tensor([ 9 10], shape&＃61;(2,), dtype&＃61;int32)