深度学习优化器

优化器理解&＃xff1a;

通过梯度下降来更新神经网络中参数的值&＃xff0c;使实际值慢慢的向要求值靠近。但是优化器有很多种&＃xff0c;因为只是入门&＃xff0c;所以我先不仔细了解各种优化器中要求的算法
可以观察官方文档中的示例&＃xff1a;

for input, target in dataset:optimizer.zero_grad()output &＃61; model(input)loss &＃61; loss_fn(output, target)loss.backward()optimizer.step()


理解与解释&＃xff1a;从dataset这个数据集中依次拿出一个数据input&＃xff0c;然后我们先将优化器清零&＃xff0c;因为如果不清零&＃xff0c;上一次循环中原有的值还在&＃xff0c;会影响这次循环的优化&＃xff0c;然后我们将input放入我们搭建的模型model中&＃xff0c;然后利用损失函数来计算差值&＃xff0c;利用反向传播来计算我们应该更新的值的大小&＃xff0c;然后利用优化器的step()函数来进行一个更新。一般来说&＃xff0c;我们会进行很多次这样的优化&＃xff0c;来使实际值趋于我们需要的值&＃xff0c;所以可以在上方再加一重循环。

对于各种优化器其中的算法&＃xff0c;入门的我先不做了解&＃xff0c;可以看下官方文档

代码呈现优化器过程

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, CrossEntropyLoss
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset &＃61; torchvision.datasets.CIFAR10("dataset2",train&＃61;False,transform&＃61;torchvision.transforms.ToTensor())
dataloader &＃61; DataLoader(dataset,batch_size&＃61;1)class Test(nn.Module):def __init__(self):super(Test, self).__init__()self.conv1 &＃61; Conv2d(3,32,5,padding&＃61;2)self.maxpool1 &＃61; MaxPool2d(kernel_size&＃61;2)self.conv2 &＃61; Conv2d(32,32,5,padding&＃61;2)self.maxpool2 &＃61; MaxPool2d(2)self.conv3 &＃61; Conv2d(32,64,5,padding&＃61;2)self.maxpool3 &＃61; MaxPool2d(kernel_size&＃61;2)self.flatten &＃61; Flatten()self.linear1 &＃61; Linear(1024,64)self.linear2 &＃61; Linear(64,10)def forward(self,x):x &＃61; self.conv1(x)x &＃61; self.maxpool1(x)x &＃61; self.conv2(x)x &＃61; self.maxpool2(x)x &＃61; self.conv3(x)x &＃61; self.maxpool3(x)x &＃61; self.flatten(x)x &＃61; self.linear1(x)x &＃61; self.linear2(x)return x;test &＃61; Test()
loss &＃61; CrossEntropyLoss()
optim &＃61; torch.optim.SGD(test.parameters(),lr&＃61;0.01)
for epoch in range(20):running_loss &＃61; 0for data in dataloader:imgs,target &＃61; data;optim.zero_grad()output &＃61; test(imgs)result_loss &＃61; loss(output,target)result_loss.backward()optim.step()running_loss&＃43;&＃61;result_lossprint(running_loss)


输出&＃xff1a;

tensor(18688.1523, grad_fn&＃61;<AddBackward0>)
tensor(16161.1523, grad_fn&＃61;<AddBackward0>)
tensor(15446.3174, grad_fn&＃61;<AddBackward0>)
...


可以看出我们的差值在不断减小。