Pytorch训练加速技巧小结

1.有时我们会发现&＃xff0c;使用Pytorch的模型&＃xff0c;训着训着&＃xff0c;越来慢了或者outofmemory&＃xff0c;这时我们该怎么解决呢&＃xff1f;

    主要是因为&＃xff0c;模型可能在不断的产生临时变量&＃xff0c;这个时候&＃xff0c;我们可以设置程序每隔多少次进行一次清除操作&＃xff1a;torch.cuda.empty_cache()

2.在数据读取速度不变的情况下&＃xff0c;怎样进一步提高模型的训练速度呢&＃xff1f;

    PyTorch 会默认使用 cuDNN 加速&＃xff0c;并且cuDNN 里面是有很多加速算法&＃xff0c;有些加速算法是针对大矩阵&＃xff0c;有些加速算法是针对小矩阵&＃xff0c;但 torch.backends.cudnn.benchmark&＃61;False&＃xff0c;会导致&＃xff0c;模型所选择的cuDNN里面的加速算法只是一个通用的&＃xff0c;并不是最优。当 torch.backends.cudnn.benchmark&＃61;True的时候&＃xff0c;模型就会为每一步选择一个最优cuDNN 加速算法&＃xff0c;所以第一步的训练速度是慢于常规&＃xff0c;但后面都是快于常规。

    但使用这个是有一个前提&＃xff0c;模型结构在训练过程中是不变化的&＃xff0c;传入数据批次和大小数也是不变的。