pytorch学习笔记十：torch.optim下的优化算法的使用方法详解

这里，我们不对每一个具体的优化算法做解释，只是对torch.optim下的算法的使用方法以及有哪些属性做一下说明。

一、torch.optim

torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。

二、如何使用optimizer

为了使用torch.optim，你需要构建一个optimizer对象。这个对象能够保持当前参数状态并基于计算得到的梯度进行参数更新。

• 构建：为了构建一个Optimizer，你需要给它一个包含了需要优化的参数（必须都是Variable对象）的iterable。然后，你可以设置optimizer的参数选项，比如学习率，权重衰减，等等。

optimizer = optim.SGD(model.parameters()