PyTorch中PinMemory技术详解与应用优化

pin_memory就是锁页内存&＃xff0c;创建DataLoader时&＃xff0c;设置pin_memory&＃61;True&＃xff0c;则意味着生成的Tensor数据最开始是属于内存中的锁页内存&＃xff0c;这样将内存的Tensor转义到GPU的显存就会更快一些。

主机中的内存&＃xff0c;有两种存在方式&＃xff0c;一是锁页&＃xff0c;二是不锁页&＃xff0c;锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换&＃xff08;注&＃xff1a;虚拟内存就是硬盘&＃xff09;&＃xff0c;而不锁页内存在主机内存不足时&＃xff0c;数据会存放在虚拟内存中。

而显卡中的显存全部是锁页内存&＃xff01;

当计算机的内存充足的时候&＃xff0c;可以设置pin_memory&＃61;True。当系统卡住&＃xff0c;或者交换内存使用过多的时候&＃xff0c;设置pin_memory&＃61;False。因为pin_memory与电脑硬件性能有关&＃xff0c;pytorch开发者不能确保每一个炼丹玩家都有高端设备&＃xff0c;因此pin_memory默认为False。

转载&＃xff1a;http://www.voidcn.com/article/p-fsdktdik-bry.html