pytorch：如何从头开始训练一个CNN网络？

前言

在刚开始学习Deep Learning时&＃xff0c;一件几乎不可能的事情就是知道每一个东西背后的原理和用法。但是&＃xff0c;很多人又不得不在前期涉猎很多在前期不应该碰的东西。多摸索是好事&＃xff0c;但考虑到性价比&＃xff0c;最好的办法是有人带着你从头实现一下你所需要做的。在此&＃xff0c;我希望本文是目标导向型的——即与你一同从头实现出一个属于你自己的CNN。

一、CNN&＃xff1f;

CNN是卷积神经网络&＃xff0c;在此&＃xff0c;我们力图简洁&＃xff08;让各种trick xx去吧&＃xff09;。我们不会考虑太多的trick&＃xff0c;只希望和你一同&＃xff0c;实现一个最简单最简单的CNN。

二、用单批量测试模型

称之为”single-batch training“。 事实上&＃xff0c;它只是一个用来测试用的、在模型正式训练之前的一个测试。这一步仅仅是为了测试你模型是否有毛病&＃xff0c;如果你对你自己的模型有信心&＃xff0c;大可不必进行这一步。

在这一步&＃xff0c;我们仅需要用一个batch来进行训练&＃xff0c;观察其Loss能否降到0&＃xff08;亦为过拟合overfitting&＃xff09;&＃xff0c;如能&＃xff0c;则进行我们的正式训练。

1.引入库

import cv2
import mathimport numpy as np
import torch
import torch.nn as nn
import torchvision.transforms as transforms
from torch.hub import load_state_dict_from_urlfrom PIL import Image
import matplotlib.pyplot as plt
from torchvision.datasets import ImageFolder
from torch.utils.data import Dataset,DataLoader
from torchvision import datasets

2.读入数据集

至于数据集的读入&＃xff0c;你可以用老师给的数据库&＃xff0c;也可以利用torchvision自带的数据库&＃xff08;如果允许&＃xff09;。我在这篇1里讲到了三种具体的实现方法。但是在这里&＃xff0c;我们用老师给的数据库。存放到相对目录的“./train_set/train_set”中。这里存放了30个类&＃xff08;划重点&＃xff0c;下面要讲到&＃xff09;。

我们利用ImageFolder 来进行操作。非常方便。它会自动地读取有几类&＃xff08;几个子文件夹&＃xff09;&＃xff0c;编号等等工作。

BATCH_SIZE &＃61; 64
# normalization
train_transform &＃61; transforms.Compose([transforms.ColorJitter(hue&＃61;0.2, saturation&＃61;0.2, brightness&＃61;0.2),transforms.RandomAffine(degrees&＃61;10, translate&＃61;(0.1,0.1), scale&＃61;(0.9,1.1)),transforms.RandomHorizontalFlip(p&＃61;0.5),transforms.ToTensor()
])# introduce the dataset
trainset &＃61; ImageFolder(root&＃61;"./train_set/train_set", transform&＃61;train_transform)
train_loader &＃61; DataLoader(dataset&＃61;trainset, batch_size&＃61;BATCH_SIZE, shuffle&＃61;False)


有几个坑的地方要注意一下&＃xff1a;

• transform是将图片进行预处理的一个参数。这个参数是需要依赖你自己的想法做的。具体可以自己去查一下&＃xff0c;这里不再详细赘述。
• 如果你决定用”single-batch training“来勘察你的模型维度设置等是否正确&＃xff0c;你需要将shuffle设置为False&＃xff08;不随机抽取&＃xff09;。函数参数具体含义已经在pytorch&＃xff1a;数据读取操作里。

3. 建造Module实例

所谓Module&＃xff0c;我们即可以将其实例化为一个层&＃xff0c;也可以将其实例化为一个网络&＃xff08;没错就是这么灵活&＃xff0c;允许套娃&＃xff09;在此&＃xff0c;我们继承nn.Module&＃xff0c;设置一个CNN_model类。在 __init__方法中&＃xff0c;我们使用将这个网络主要分为两个主要的模块&＃xff1a;卷积模块(self.cnn)和全连接层模块(self.linear)。

我们利用 self.cnn &＃61; nn.Sequential()函数来整理一个大模块。它是有序的&＃xff0c;模块将按照在传入构造器的顺序依次被添加到计算图中执行。注意&＃xff0c;这里有30类&＃xff0c;所以我们要保证最后一层的输出为30。

class CNN_model(nn.Module):def __init__(self):super(CNN_model, self).__init__()# conv1 self.cnn &＃61; nn.Sequential(nn.Conv2d(3, 16, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1),nn.BatchNorm2d(16),nn.ReLU(),nn.MaxPool2d(kernel_size&＃61;2, stride&＃61;2), # 16x16x650nn.Conv2d(16, 32, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1), # 32x16x650nn.ReLU(),nn.Dropout2d(0.5),nn.Conv2d(32, 64, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1), # 64x16x650nn.ReLU(),nn.MaxPool2d(kernel_size&＃61;2, stride&＃61;2), # 64x8x325nn.Conv2d(64, 128, kernel_size&＃61;3, stride&＃61;1, padding&＃61;1),nn.ReLU() # 64x8x325)self.linear &＃61; nn.Sequential(nn.Linear(32768, 128),nn.ReLU(),nn.Linear(128, 256),nn.ReLU(),nn.Linear(256, 30)) def forward(self,x):x &＃61; self.cnn(x)fc_input&＃61;x.view(x.size(0),-1)fc_output &＃61; self.linear(fc_input)return fc_output# 将其实例化
cnn &＃61; CNN_model()
for param in cnn.parameters():print(param.shape)# 得到一个data&＃xff0c;查看是否成功读取。
dataiter &＃61; iter(train_loader)
images, labels &＃61; dataiter.next()
print(labels)


4. 训练

在训练时&＃xff0c;我们要确定我们需要什么损失函数。这又和具体的分类任务有关……如果想让本文篇幅稍微短点&＃xff0c;恐怕还是绕过这个话题比较好。还记得我们所用的数据集吗&＃xff1f;有30类对吧&＃xff1f;我们用这CrossEntropyLoss()损失函数来完成分类的任务。

请仔细阅读代码与注释。

loss_fn &＃61; nn.CrossEntropyLoss()
optimizer &＃61; torch.optim.SGD(cnn.parameters(), lr&＃61;0.001, momentum&＃61;0.9)for epoch in range(nepochs): # loop over the dataset multiple timescorrect &＃61; 0 # number of examples predicted correctly (for accuracy)total &＃61; 0 # number of examplesrunning_loss &＃61; 0.0 # accumulated loss (for mean loss)n &＃61; 0 # number of minibatches# 每个epoch&＃xff0c;我们都取第一个batch来进行训练。dataiter &＃61; iter(train_loader) inputs, labels &＃61; dataiter.next()# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61; main body&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;# 将梯度清空&＃xff08;每轮epoch都清空&＃xff09;optimizer.zero_grad()# Forward, backward, and update parametersoutputs &＃61; cnn(inputs)loss &＃61; loss_fn(outputs, labels)loss.backward()optimizer.step()# &＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;# accumulate lossrunning_loss &＃43;&＃61; loss.item()n &＃43;&＃61; 1# accumulate data for accuracy_, predicted &＃61; torch.max(outputs.data, 1)total &＃43;&＃61; labels.size(0) # add in the number of labels in this minibatchcorrect &＃43;&＃61; (predicted &＃61;&＃61; labels).sum().item() # add in the number of correct labels# collect together statistics for this epochltrn &＃61; running_loss/natrn &＃61; correct/total print(f"epoch: {epoch} training loss: {ltrn: .3f} training accuracy: {atrn: .1%} ")


总结

可以看到&＃xff0c;核心代码区区不过几行。你可能会问&＃xff1a;这只是单个batch的呀&＃xff1f;需要多个batch只需要一个循环就解决了&＃xff01;在下一篇《pytorch&＃xff1a;如何从头开始训练一个CNN网络&＃xff1f;&＃xff08;二&＃xff09;》中&＃xff0c;我们还会学习到一些使你涨点的技巧。记住我们的学习哲学&＃xff1a;

我们在这里只是工程导向&＃xff0c;并不详细阐述背后原理。