Pytorch为不同层设置不同的学习率(全局微调)

      对全局微调时&＃xff0c;我们希望改换过的层和其他层的学习速率不一样&＃xff0c;这时候把其它层和新层在optimizer中单独赋予不同的学习速率。

ignored_params &＃61; list(map(id, model.fc.parameters()))
base_params &＃61; filter(lambda p: id(p) not in ignored_params,
model.parameters())

optimizer &＃61; torch.optim.SGD([
{&＃39;params&＃39;: base_params},
{&＃39;params&＃39;: model.fc.parameters(), &＃39;lr&＃39;: 1e-3}
], lr&＃61;1e-2, momentum&＃61;0.9)

如果对某个参数不指定学习率&＃xff0c;就使用最外层的默认学习率