PyTorch学习（三）卷积神经网络

卷积运算是一种特征提取方式&＃xff0c;卷积运算结果即为提取的特征&＃xff0c;卷积核像一个筛子&＃xff0c;将图像中符合条件&＃xff08;激活值越大越符合条件&＃xff09;的特征筛选出来。
卷积神经网络由卷积核而得名。

卷积核的作用就是把前一层输入的数据特征提取出来&＃xff0c;

特征提取

通过一个线性计算映射和一个激励函数&＃xff08;可选&＃xff09;&＃xff0c;最后在最后一层成为一个数值形式的激励值。
如图输入一个55的图形&＃xff0c;图形中的每个像素都是一个具体的数字&＃xff0c;每个像素值为RGB具体表现。为了表示方便&＃xff0c;用0代表黑色&＃xff0c;用1代表白色&＃xff0c;表示一个黑白图。用一个33的卷积核对其y&＃61;wx&＃43;b进行卷积&＃xff0c;其中w&＃61;[1,0,1,0,1,0,1,0,1],就是11&＃43;01&＃43;11&＃43;01&＃43;11&＃43;01&＃43;10&＃43;00&＃43;1*1&＃43;0&＃61;4
这个4会被投射到后方的Feature Map中&＃xff0c;就是卷积特征中左上角的点。

同一层的某些神经元是权值共享

注意

这不是矩阵乘法&＃xff0c;是两个向量做点积
在这个例子&＃xff0c;w&＃61;[1,0,1,0,1,0,1,0,1],b&＃61;0
在一次扫描后&＃xff0c;卷积核会从左到右&＃xff0c;从上到下扫描整幅图片&＃xff0c;并将每次计算的结果放到convolved feature
如果一个Feature map要与前面的图片的尺寸保持一致&＃xff0c;通常需要在边缘补0&＃xff0c;这种操作叫做padding,

扫描过程是跳跃的&＃xff0c;可以一次移动一个像素进行扫描。striding &＃61;1 如图&＃xff0c;如果padding &＃61;2,得到的feature map与输入图片的尺寸是相同的。

代码

在代码中&＃xff0c;Kernel Size是卷积核的尺寸&＃xff0c;卷积核的数目叫做channel,就是使用多少个这样的卷积核对图片进行扫描。在训练的时候使用梯度下降找出各个卷积核的w取什么值的时候模型有更好的表现&＃xff0c;一般来说&＃xff0c;卷积网络需要的数量比全连接网络更少&＃xff0c;训练速度更快&＃xff0c;泛化能力更强。

卷积过程

import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms# Device configuration
device &＃61; torch.device(&＃39;cuda:0&＃39; if torch.cuda.is_available() else &＃39;cpu&＃39;)# Hyper parameters
num_epochs &＃61; 5
num_classes &＃61; 10
batch_size &＃61; 100
learning_rate &＃61; 0.001# MNIST dataset
# 读取训练集
train_dataset &＃61; torchvision.datasets.MNIST(root&＃61;&＃39;../../data/&＃39;,train&＃61;True, transform&＃61;transforms.ToTensor(),download&＃61;True)
#读取测试集
test_dataset &＃61; torchvision.datasets.MNIST(root&＃61;&＃39;../../data/&＃39;,train&＃61;False, transform&＃61;transforms.ToTensor())# Data loader
train_loader &＃61; torch.utils.data.DataLoader(dataset&＃61;train_dataset,batch_size&＃61;batch_size, shuffle&＃61;True)test_loader &＃61; torch.utils.data.DataLoader(dataset&＃61;test_dataset,batch_size&＃61;batch_size, shuffle&＃61;False)# Convolutional neural network (two convolutional layers)
class ConvNet(nn.Module):def __init__(self, num_classes&＃61;10):super(ConvNet, self).__init__()#定义第一个卷积层&＃xff0c;卷积核的尺寸是5*5&＃xff0c;输入通道为1&＃xff0c;卷积核&＃xff08;输出通道&＃xff09;个数是16&＃xff0c;步长是1像素&＃xff0c;,padding&＃61;2self.layer1 &＃61; nn.Sequential(nn.Conv2d(1, 16, kernel_size&＃61;5, stride&＃61;1, padding&＃61;2),#对结果进行归一化&＃xff0c;防止训练过程中各网络层的输入落入饱和区导致梯度消失&＃xff0c;nn.BatchNorm2d(16),#使用激活函数对输出结果进行处理nn.ReLU(),#对图像输出采用最大池化的方法进行降采样nn.MaxPool2d(kernel_size&＃61;2, stride&＃61;2))#输入为16通道&＃xff0c;输出为32通道&＃xff0c;卷积核为5*5&＃xff0c;padding&＃61;2self.layer2 &＃61; nn.Sequential(nn.Conv2d(16, 32, kernel_size&＃61;5, stride&＃61;1, padding&＃61;2),#进行批归一化nn.BatchNorm2d(32),nn.ReLU(),nn.MaxPool2d(kernel_size&＃61;2, stride&＃61;2))#一个全连接层&＃xff0c;输入是7*7*32&＃xff0c;输出是10个节点&＃xff0c;就是将输出[1,7,*7*32]尺寸的向量作为x[1,1568]和一个[1568,10]的w相乘&＃xff0c;再加上b,b是一个[1,10]的张量#7*7*32是如何得到的&＃xff1f;如图self.fc &＃61; nn.Linear(7*7*32, num_classes)def forward(self, x):out &＃61; self.layer1(x)out &＃61; self.layer2(out)out &＃61; out.reshape(out.size(0), -1)out &＃61; self.fc(out)return outmodel &＃61; ConvNet(num_classes).to(device)# Loss and optimizer
#损失函数就是交叉熵损失函数
criterion &＃61; nn.CrossEntropyLoss()
#优化器是Adam
optimizer &＃61; torch.optim.Adam(model.parameters(), lr&＃61;learning_rate)# Train the model
total_step &＃61; len(train_loader)
for epoch in range(num_epochs):for i, (images, labels) in enumerate(train_loader):images &＃61; images.to(device)labels &＃61; labels.to(device)# Forward passoutputs &＃61; model(images)loss &＃61; criterion(outputs, labels)# Backward and optimizeoptimizer.zero_grad()loss.backward()optimizer.step()if (i&＃43;1) % 100 &＃61;&＃61; 0:print (&＃39;Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}&＃39; .format(epoch&＃43;1, num_epochs, i&＃43;1, total_step, loss.item()))# Test the model
model.eval() # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)
with torch.no_grad():correct &＃61; 0total &＃61; 0for images, labels in test_loader:images &＃61; images.to(device)labels &＃61; labels.to(device)outputs &＃61; model(images)_, predicted &＃61; torch.max(outputs.data, 1)total &＃43;&＃61; labels.size(0)correct &＃43;&＃61; (predicted &＃61;&＃61; labels).sum().item()print(&＃39;Test Accuracy of the model on the 10000 test images: {} %&＃39;.format(100 * correct / total))# Save the model checkpoint
torch.save(model.state_dict(), &＃39;model.ckpt&＃39;)

我们根据训练的结果可以看到比全连接层训练的结果准确率高。

补充

在卷积层是否需要padding ?根据输入图像边缘携带信息特征是否足以影响分类的准确性来决定 。降采样的作用是一种典型的降维操作&＃xff0c;可以使用最大池化和平均池化。表现了一种以一定的信息损失为代价来换取空间和运算时间的取舍态度。
关于是用最大池化和平均池化根据自己对输出的要求。卷积层可以在任何网络结构中出现&＃xff0c;是作为特征提取&＃xff0c;池化层的作用是降维。降低模型的训练难度。
关于卷积核的数量&＃xff0c;有几个通道的输出&＃xff0c;就定义多少个卷积核。

多卷积核

上面只有100个参数的时候&＃xff0c;表明只有1个10*10的卷积核&＃xff0c;显然特征提取是不充分的&＃xff0c;可以添加n个卷积核&＃xff0c;可以学习n种特征。

RNN神经网络

循环神经网络最流行的就是LSTM,RNN与FF和CNN是不同的&＃xff0c;FF是全连接层实现&＃xff0c;CNN是卷积层实现&＃xff0c;LSTM是用循环层实现的&＃xff0c;就是把前一次输入的内容以及中间的激励值和这一次的输入值一起作为网络的输入&＃xff0c;这样如果上一次的输入对这一次的输入有影响&＃xff0c;那么这种影响也可以被学习&＃xff0c;特别是对于文本处理的时候&＃xff0c;根据上下文来推断这个词语的意思&＃xff0c;用LSTM是很好的。