Pytorch中nn.Module中self.register_buffer的解释

今天遇到了这样一种用法&＃xff0c;self.register_buffer(‘name’,Tensor)&＃xff0c;该方法的作用在于定义一组参数。该组参数在模型训练时不会更新&＃xff08;即调用optimizer.step()后该组参数不会变化&＃xff0c;只可人为地改变它们的值&＃xff09;&＃xff0c;但是该组参数又作为模型参数不可或缺的一部分。

四种方式初始化模型中的参数

1. 定义常见模型时的操作


2. 使用register_buffer()定义一组参数


3. 使用register_parameter()定义一组参数


4. 使用python类的属性方式定义一组变量

import torch
import torch.nn as nn
from collections import OrderedDict
class Model(nn.Module):
def __init__(self):
super(Model,self).__init__()

#(1)定义常见模型时的操作
self.param_nn &＃061; nn.Sequential(OrderedDict([
(&＃039;conv&＃039;,nn.Conv2d(1,1,3,bias&＃061;False)),
(&＃039;fc&＃039;,nn.Linear(1,2,bias&＃061;False))
]))

#(2)使用register_buffer()定义一组参数
self.register_buffer(&＃039;reg_buf&＃039;,torch.randn(1,2))
#(3)使用register_parameter()定义一组参数
self.register_parameter(&＃039;reg_param&＃039;,nn.Parameter(torch.randn(1,2)))
#(4)使用python类的属性方式定义一组变量
self.param_attr &＃061; torch.randn(1,2)
net &＃061; Model()



问题1&＃xff1a;哪些参数会在模型训练时被更新&＃xff1f;

因为定义优化器时会传入一个参数net.parameters,所以在模型训练时更新的参数可以通过list(net.named_parameters())查看

结果说明&＃xff0c;只有方式&＃xff08;1&＃xff09;和方式&＃xff08;3&＃xff09;定义的参数可以被更新

问题2&＃xff1a;模型中的参数到底有哪些&＃xff1f;

模型中的所有参数都装在state_dict()中&＃xff0c;所以可以通过net.state_dict()方式查看

结果说明&＃xff0c;只有方式&＃xff08;4&＃xff09;的参数不在模型的参数列表&＃xff0c;没有被模型训练时更新的参数reg_buf&＃xff0c;依然在模型的参数列表里

1. 传入参数&＃xff1a;第一个参数传入一个字符串&＃xff0c;表示这组参数的名字&＃xff0c;第二个就是tensor形式的参数


2. 在模型定义中调用&＃xff1a;使用self.name方法&＃xff0c;本例中就是self. reg_buf


3. 在实例化模型后调用&＃xff1a;使用net.buffers()方法。

实际上&＃xff0c;Pytorch定义的模型用OrderedDict()方式记录这三种类型&＃xff0c;分别保存在self._modules, self._parameters 和self.buffer三个私有属性中

在模型实例化后可以用以下方法看三个私有属性中的变量
net.modules()
net.parameters()
net.buffers()

self._parameters 和net.parameters() 的返回值并不相同&＃xff0c;self._parameters只记录了使用self.register_parameter()定义的参数&＃xff0c;而net.parameters()返回所有可学习参数。

参考&＃xff1a;
[1]Pytorchnn.Module中的self.register_buffer()解析