mnisttorch加载fashion_PyTorch中文手册（4）数据的加载和预处理

import torch
from torch.utils.data import Dataset # 导入抽象类Dataset
import pandas as pd # 本质是使用pandas进行处理&＃xff0c;只是相当于进行了封装。# 定义一个数据集
class BulldozerDataset(Dataset):""" 数据集演示 """def __init__(self, csv_file):# 实现初始化方法&＃xff0c;在初始化的时候将数据读载入# 数据保存在self.df中self.df&＃61;pd.read_csv(csv_file)def __len__(self): # 本质替换定义了len()函数的作用# 返回df的长度return len(self.df)def __getitem__(self, idx): # 本质定义了替换iloc[]的作用# 根据 idx 返回一行数据return self.df.iloc[idx].SalePrice

ds_demo&＃61; BulldozerDataset(&＃39;median_benchmark.csv&＃39;) #传入一个.csv文件

#实现了 __len__ 方法所以可以直接使用len获取数据总数
len(ds_demo)
------------------
11573
------------------
#用索引可以直接访问对应的数据&＃xff0c;对应 __getitem__ 方法
ds_demo[0]
------------------
24000.0
------------------

dl &＃61; torch.utils.data.DataLoader(ds_demo, batch_size&＃61;10, shuffle&＃61;True, num_workers&＃61;0)
# DataLoader返回的是一个可迭代对象&＃xff0c;我们可以使用迭代器分次获取数据
# DataLoader本质是一个类&＃xff0c;用来实现复杂的函数功能和其他功能
# .csv(原始数据)--->ds_demo(Dataset类对象)--->dl(DataLoader类对象)idata&＃61;iter(dl) # iter() 迭代函数
print(next(idata))# 更常见的用法是使用for循环对其进行遍历
for i, data in enumerate(dl):print(i,data)# 为了节约空间&＃xff0c;这里只循环一遍break
----------------------------
0 tensor([24000., 24000., 24000., 24000., 24000., 24000., 24000., 24000., 24000.,24000.], dtype&＃61;torch.float64)
# 第一个维度是batch_size&＃61;&＃61;10&＃xff0c;每一个元素其实是一个实际的数据
----------------------------

import torchvision.datasets as datasets
trainset &＃61; datasets.MNIST(root&＃61;&＃39;./data&＃39;, # 表示 MNIST 数据的加载的目录train&＃61;True, # 表示是否加载数据库的训练集&＃xff0c;false的时候加载测试集download&＃61;True, # 表示是否自动下载 MNIST 数据集transform&＃61;None) # 表示是否需要对数据进行预处理&＃xff0c;none为不进行预处理

# 我们直接可以使用训练好的模型&＃xff0c;当然这个与datasets相同&＃xff0c;都是需要从服务器下载的
import torchvision.models as models
resnet18 &＃61; models.resnet18(pretrained&＃61;True) # 调用的是定义的函数来生成模型&＃xff0c;模型类的定义还是大写

from torchvision import transforms as transforms
transform &＃61; transforms.Compose([transforms.RandomCrop(32, padding&＃61;4), # 先四周填充0&＃xff0c;在把图像随机裁剪成32*32transforms.RandomHorizontalFlip(), # 图像一半的概率翻转&＃xff0c;一半的概率不翻转transforms.RandomRotation((-45,45)), # 随机旋转transforms.ToTensor(),transforms.Normalize((0.4914, 0.4822, 0.4465), (0.229, 0.224, 0.225)), # R,G,B每层的归一化用到的均值和方差
])