Pytorch之深入理解torch.nn.Parameter()

先看一段代码&＃xff1a;

import torch
import torch.nn as nn
a&＃61;torch.tensor([1,2],dtype&＃61;torch.float32)
print(a)
print(nn.Parameter(a))
print(nn.parameter.Parameter(a))


结论&＃xff1a;

1. nn.Parameter&＃61;nn.parameter.Parameter
2. parameter本质仍然是一个tensor。
3. nn.Parameter的作用是&＃xff1a;将一个不可训练的类型Tensor转换成可以训练的类型parameter&＃xff0c;并且会向宿主模型注册该参数&＃xff0c;成为一部分。即model.parameters()会包含这个parameter。从而&＃xff0c;在参数优化的时候可以自动一起优化&＃xff0c;这就不需要我们单独对这个参数进行优化啦。

其中2的证明如下&＃xff1a;

---

补充

---

不少童鞋会想这个nn.Parameter(tensor)和对一个tensor直接进行&＃96;requires_grad&＃61;True&＃96;有什么区别&＃xff1f;这两者不是一样的&＃xff01;
即下面的w1和w2功能是不一样的&＃xff1a;

#对一个tensor直接进行&＃96;requires_grad&＃61;True&＃96;
w1&＃61;torch.tensor([1,2],dtype&＃61;torch.float32,requires_grad&＃61;True)#nn.Parameter(tensor)
a&＃61;torch.tensor([3,4],dtype&＃61;torch.float32)
w2&＃61;nn.Parameter(a)


功能哪里不一样&＃xff1f;其实就是上面说的结论中的第3条&＃xff0c;对一个tensor直接进行requires_grad&＃61;True确实也变成了可训练的tensor&＃xff0c;但这个tensor无法像parameter那样自动包括在 model.parameters()中。

最后&＃xff0c;我们做一个验证&＃xff1a;

class mod(nn.Module):def __init__(self):super(mod,self).__init__()self.w1&＃61;torch.tensor([1,2],dtype&＃61;torch.float32,requires_grad&＃61;True)a&＃61;torch.tensor([3,4],dtype&＃61;torch.float32)self.w2&＃61;nn.Parameter(a)def forward(self,inputs):o1&＃61;torch.dot(self.w1,inputs)#使用了带梯度的普通tensoro2&＃61;torch.dot(self.w2,inputs)#使用了parameterreturn o1&＃43;o2


model&＃61;mod()
for p in model.parameters():print(p)


我们发现&＃xff0c;只有parameter会在model.parameters()中&＃xff0c;这意味这&＃xff0c;w1参数需要手动单独优化。

补充&＃xff1a;
上述好像只打印了参数&＃xff0c;没有打印参数名称&＃xff0c;有点low。高级的如下&＃xff1a;

model.state_dict()
#或者
for para in model.named_parameters():print(para)


---

完

---