GPU对CNN计算的加速原理到底是怎样的？

具体到cnn，利用gpu加速主要是在conv（卷积）过程上。conv过程同理可以像以上的向量加法一样通过cuda实现并行化。具体的方法很多，不过最好的还是利用fft（快速傅里叶变换）进行快速卷积。NVIDIA提供了cufft库实现fft，复数乘法则可以使用cublas库里的对应的level3的cublasCgemm函数。再具体到各大框架是如何使用gpu对cnn进行加速的，目前主流的做法是使用NVIDIA的cudnn库NVIDIA cuDNN。这个库集成了tensors变量、cnn、rnn等重要基础模型的ff、bp、update的函数，并支持multi device，框架通过传递tensors并调用cudnn来实现cnn、rnn等模型的核心运算。cudnn库和上面的cublas、cufft等库一样，是NVIDIA花重金打造的cuda加速库，性能优化几乎达到了巅峰，除非有强烈的造轮子冲动或者定制函数的需求，使用NVIDIA官方加速库是最佳选择。不过在GitHub的上一个叫deepcore的轻量级框架项目里，开发者声称cnn速度比cudnn快，看代码也是使用的fft快速卷积。说明cudnn还有提升潜力。而且通过阅读NVIDIA的cudnn的sample，我觉得cudnn作为一个全面严谨的深度学习加速库，虽然体现了开发者高超的编程能力，但是对于个人使用者来说，体系过于庞大、使用太繁琐。