【oneway的pytorch学习笔记】(七)MultiGPU训练（未完..请忽略）

1. nn.DataParallel - 在模块级别实现数据并行

if len(args.gpu.split(','))>1:
model_ft = nn.DataParallel(model_ft,device_ids=[int(g) for g in args.gpu.split(',')])
model_ft = model_ft.to(device)
else:
model_ft = model_ft.to(device)


2. DistributedDataParallel - 基于 torch.distributed 包的数据并行

(试一下三年多不更的更新能否复原原力值， 未完 …请忽略)