开发笔记:小白学习PyTorch教程五在PyTorch中使用Datasets和DataLoader自定义数据

&＃64;Author&＃xff1a;Runsen

有时候&＃xff0c;在处理大数据集时&＃xff0c;一次将整个数据加载到内存中变得非常难。

因此&＃xff0c;唯一的方法是将数据分批加载到内存中进行处理&＃xff0c;这需要编写额外的代码来执行此操作。对此&＃xff0c;PyTorch 已经提供了 Dataloader 功能。

DataLoader

下面显示了 PyTorch 库中DataLoader函数的语法及其参数信息。

DataLoader(dataset, batch_size&＃61;1, shuffle&＃61;False, sampler&＃61;None,
batch_sampler&＃61;None, num_workers&＃61;0, collate_fn&＃61;None,
pin_memory&＃61;False, drop_last&＃61;False, timeout&＃61;0,
worker_init_fn&＃61;None, *, prefetch_factor&＃61;2,
persistent_workers&＃61;False)


几个重要参数

• dataset&＃xff1a;必须首先使用数据集构造 DataLoader 类。
• Shuffle &＃xff1a;是否重新整理数据。
• Sampler &＃xff1a;指的是可选的 torch.utils.data.Sampler 类实例。采样器定义了检索样本的策略&＃xff0c;顺序或随机或任何其他方式。使用采样器时应将 Shuffle 设置为 false。
• Batch_Sampler &＃xff1a;批处理级别。
• num_workers &＃xff1a; 加载数据所需的子进程数。
• collat​​e_fn &＃xff1a; 将样本整理成批次。Torch 中可以进行自定义整理。

加载内置 MNIST 数据集

MNIST 是一个著名的包含手写数字的数据集。下面介绍如何使用DataLoader功能处理 PyTorch 的内置 MNIST 数据集。

import torch
import matplotlib.pyplot as plt
from torchvision import datasets, transforms


上面代码&＃xff0c;导入了 torchvision 的torch计算机视觉模块。通常在处理图像数据集时使用&＃xff0c;并且可以帮助对图像进行规范化、调整大小和裁剪。

对于 MNIST 数据集&＃xff0c;下面使用了归一化技术。

ToTensor()能够把灰度范围从0-255变换到0-1之间。

transform &＃61; transforms.Compose([transforms.ToTensor()])


下面代码用于加载所需的数据集。使用 PyTorchDataLoader通过给定 batch_size &＃61; 64来加载数据。shuffle&＃61;True打乱数据。

trainset &＃61; datasets.MNIST(&＃39;~/.pytorch/MNIST_data/&＃39;, download&＃61;True, train&＃61;True, transform&＃61;transform)
trainloader &＃61; torch.utils.data.DataLoader(trainset, batch_size&＃61;64, shuffle&＃61;True)


为了获取数据集的所有图像&＃xff0c;一般使用iter函数和数据加载器DataLoader。

dataiter &＃61; iter(trainloader)
images, labels &＃61; dataiter.next()
print(images.shape)
print(labels.shape)
plt.imshow(images[1].numpy().squeeze(), cmap&＃61;&＃39;Greys_r&＃39;)


自定义数据集

下面的代码创建一个包含 1000 个随机数的自定义数据集。

from torch.utils.data import Dataset
import random

class SampleDataset(Dataset):
def __init__(self,r1,r2):
randomlist&＃61;[]
for i in range(120):
n &＃61; random.randint(r1,r2)
randomlist.append(n)
self.samples&＃61;randomlist

def __len__(self):
return len(self.samples)

def __getitem__(self,idx):
return(self.samples[idx])

dataset&＃61;SampleDataset(1,100)
dataset[100:120]


最后&＃xff0c;将在自定义数据集上使用 dataloader 函数。将 batch_size 设为 12&＃xff0c;并且还启用了num_workers &＃61;2 的并行多进程数据加载。

from torch.utils.data import DataLoader
loader &＃61; DataLoader(dataset,batch_size&＃61;12, shuffle&＃61;True, num_workers&＃61;2 )
for i, batch in enumerate(loader):
print(i, batch)


写在后面

通过几个示例了解了 PyTorch Dataloader 在将大量数据批量加载到内存中的作用。

最近&＃xff0c;腾讯云有福利&＃xff0c;自己拿到了对应的推广&＃xff0c;有需求的可以考虑新购然后升级&＃xff0c;相当于低价购买高配的大厂云主机啊~~~

腾讯云福利

点击上面链接&＃xff0c;可以低价购买腾讯云产品