pytorch基础（八）：Dataloader的简单使用

  本系列主要是对pytorch基础知识学习的一个记录&＃xff0c;尽量保持博客的更新进度和自己的学习进度。本人也处于学习阶段&＃xff0c;博客中涉及到的知识可能存在某些问题&＃xff0c;希望大家批评指正。另外&＃xff0c;本博客中的有些内容基于吴恩达老师深度学习课程&＃xff0c;我会尽量说明一下&＃xff0c;但不敢保证全面。

  要想使用Dataloader&＃xff0c;我们需要构造一个适用于待解决问题的一个数据类&＃xff0c;该数据类必须继承Dataset&＃xff0c;下面是一个简单的例子&＃xff1a;

from torch.utils.data import DataLoader, Dataset
class MnistData(Dataset):def __init__(self, data_path, label_path):super(MnistData, self).__init__()self.data, self.label &＃61; load_mnist(data_path, label_path)self.data &＃61; self.data[0:1000, :]self.label &＃61; self.label[0:1000]self.len &＃61; self.label.shape[0]def __getitem__(self, index):return self.data[index], self.label[index]def __len__(self):return self.len


  这里我为手写数字图片构造了一个数据类&＃xff0c;因为数据集比较简单&＃xff08;数据&＃43;标签&＃xff09;&＃xff0c;因此数据类中的成员变量也不是很多。我个人觉得还是要具体问题具体分析&＃xff0c;当需要处理文本数据时&＃xff0c;构造的类就会复杂许多。load_mnist 是读取文件的一个函数。
  当你构建数据类时&＃xff0c;你必须继承 Dataset 类&＃xff0c;并复写_ getitem _ 函数和_ len _ 函数

  pytorch给出的Dataloader解释如下&＃xff1a;

  Dataloder中参数还是非常多的&＃xff0c;我暂时用到过的并不多&＃xff0c;主要是以下三个参数&＃xff1a;

1.dataset:Dataset类型&＃xff0c;传入提前构造好的数据类。
2.batch_size:int类型&＃xff0c;批处理的大小&＃xff0c;不用自己划分数据集。
3.shuffle:bool类型&＃xff0c;当设置为True时&＃xff0c;每个epoch会随机打乱数据集。


使用Dataloader:

mnist_data &＃61; MnistData(train_data_path, train_label_path)
train_loader &＃61; DataLoader(dataset&＃61;mnist_data, batch_size&＃61;32, shuffle&＃61;True)


遍历Dataloader&＃xff1a;

for epoch in range(epoch_num):epoch_cost &＃61; 0for i, data in enumerate(train_loader):img_data, labels &＃61; data

总结

  我对Dataloader的了解其实并不很透彻&＃xff0c;只会一些基本使用&＃xff0c;在今后的情形中若碰见比较复杂的情形&＃xff0c;我会完善这一篇博客。