pytorch多GPU训练遇到的坑

在打算由单GPU转成多GPU时&＃xff0c;使用&＃xff1a;

self.model &＃61; self.model.cuda(device&＃61;device_ids[0]) self.model &＃61; torch.nn.DataParallel(self.model,device_ids&＃61;device_ids)


设置后&＃xff0c;出现报错&＃xff0c;报错显示读取不到模型的参数&＃xff0c;原因是因为经过DataParallel包装过的模型如下&＃xff1a;

和使用单GPU时不同的是多了一个.module,所以再进行任何需要调用model里面参数的操作时&＃xff0c;都需要在model后面加上一个.module,即model.module&＃xff0c;这样才能提取出model里面的参数以及函数等。如图所示&＃xff1a;