PyTorchMobile在端侧可堪大用？能否与TensorFlowLite一较上下

田海立&＃64;CSDN 2020-11-07

PyTorch在1.3发布Pytorch Mobile&＃xff0c;其支持情况如何&＃xff0c;能否与TensorFlow Lite一较上下呢&＃xff1f;本文试分析之。PyTorch Mobile的宣传显得要么诚意不足要么对行业领悟不够。目前只能说是有Mobile这个路在而已&＃xff0c;与TFLite比不可同日而语&＃xff0c;至少目前的实现是。相对于Google移动端的既有Android生态布局&＃xff0c;Facebook有其苦衷&＃xff0c;要坚守其生态底线又要放弃次要考量去适配NNAPI才是其捷径。

一、历史

Facebook历史上&＃xff0c;在Caffe2中号称设计之初就为移动部署考虑的&＃xff0c;笔者也跟踪了几年&＃xff0c;发现Caffe2对NNAPI的支持还是3年前提交过代码&＃xff0c;也只是对几个最常用算子做了适配&＃xff0c;几乎是无所作为&＃xff0c;当然显然Caffe2目前也基本是被废弃的状态。现在PyTorch实现Mobile支持&＃xff0c;特别是PyTorch作为训练&＃xff08;模型&＃xff09;框架&＃xff0c;已占主导地位&＃xff0c;当然关注其在移动领域的表现。

关注AI移动领域的读者应该有所了解&＃xff0c;其实TensorFlow最初对移动的支持是通过TensotFlow Mobile&＃xff0c;之后才是重新实现的TensorFlow Lite。

二、PyTorch Mobile

据PyTorch Mobile网站介绍&＃xff0c;处在Beta阶段&＃xff0c;待API稳定之后&＃xff0c;很快会推出稳定版。Feature包括&＃xff1a;

• 为ios&＃xff0c;Android&＃xff0c;Linux提供支持&＃xff1b;
• 提供API&＃xff0c;涵盖将 ML 集成到移动应用中所需的常见预处理和集成任务&＃xff1b;
• 通过TorchScript IR支持tracing与scripting&＃xff1b;
• 支持 XNNPACK为ARM CPU上执行浮点运算&＃xff1b;
• 集成QNNPACK 支持INT8量化内核库&＃xff0c;可支持per-channel量化、动态量化以及其他方式&＃xff1b;
• 根据用户的应用需求进行构建级别的优化和选择性编译&＃xff0c;也就是根据应用如用的模型里的算子可定制选择算子从而改变最终编译出目标程序的尺寸&＃xff1b;
• GPU/DSP/NPU等backends会在后续支持。

典型工作流程&＃xff1a;

与别的推理框架其实并没大的差别&＃xff1a;

1. 把训练出的模型进行量化&＃xff08;可选&＃xff09;
2. 模型转换&＃xff1a;pt&＃xff08;TorchScript&＃xff09;
3. 优化&＃xff08;可选&＃xff09;
4. 保存
5. 部署到终端上执行

只是&＃xff0c;上述1&＃xff5e;4步骤中在Host上完成&＃xff1b;步骤5在手机或别的边缘设备上部署。别的方案把这些都交代清楚了而已。

三、PyTorch Mobile前景

PyTorch Mobile目前发布的信息可以说是没什么特别的新意&＃xff0c;本来就在移动端落后了TensorFlow很多&＃xff0c;也可以理解。

不过&＃xff0c;有些说法就让人觉得要么真的跟产业离的太远&＃xff0c;不知道端侧设备的痛点在哪&＃xff0c;要么诚意不足&＃xff01;

看Facebook所宣传的PyTorch Mobile的“卖点”&＃xff1a;

• No new framework
• No model conversion
• No operator porting

No new framework&＃xff1a;已经转换了模型了&＃xff0c;在端侧设备上执行pt模型了还说是没有新的Framework&＃xff0c;应该是有一个端侧Runtime的东西在运行&＃xff0c;什么量级的才叫Framework呢&＃xff1f;刻意隐藏不告诉普通开发者而已。

No model conversion&＃xff1a;变成pt TorchScript模型了不是模型转换吗&＃xff1f;而且将来有NPU/GPU/DSP支持没有模型转换或编译的存在才怪。也还是偷换概念。

No operator porting&＃xff1a;这点还没有深入看实现&＃xff0c;不好说做没做。不过知道TensorFlow Mobile到TensorFlow Lite发展变化历程的都知道&＃xff0c;这可能不是卖点&＃xff0c;而是还没get到痛点。TensorFlow Mobile是挑选了一些TF的算子做了个c&＃43;&＃43;的推理&＃xff0c;但是尺寸和运行速度都是端上设备最关注的&＃xff0c;所以才后来全部重写算子&＃xff0c;重新实现而成的TFLite。当然&＃xff0c;可能PyTorch Mobile也是重写了的&＃xff0c;只是不宣传&＃xff0c;隐藏起来而号称的。

如果与TFLite的现状比&＃xff0c;PyTorch Mobile只能说是有Mobile这个路在而已&＃xff0c;不可同日而语&＃xff0c;至少目前的实现是。

边缘设备更关注的是Latency、功耗、隐私等&＃xff0c;所以对加速器的支持更重要&＃xff1a;

• TFLite里对GPU通过Delegate机制支持&＃xff1b;
• TFLite对Qualcomm Hexagon提供Delegate机制支持&＃xff1b;
• TFLite对通过NNAPI Delegate对所有NN Device&＃xff08;GPU/DSP/NPU&＃xff09;提供支持

PyTorch Mobile还没看到这部分的实现。

四、总结

显然与Google不会加入ONNX一样&＃xff0c;Facebook的PyTorch也不会提供模型转换或适配的方式转换到Google的TensorFlow生态。而是守住自己生态内的这条底线的情况下&＃xff0c;尽量支持边缘设备。

Google手里有Android&＃xff0c;耕耘了这么多年&＃xff0c;对移动端/边缘设备端的理解和生态布局不是Facebook所能比拟的。PyTorch Mobile如果把竞争对手瞄准TensorFlow Lite&＃xff0c;不要针对AndroidNN&＃xff08;NNAPI&＃xff09;&＃xff0c;积极拥抱去适配NNAPI&＃xff0c;倒是推动AI设备支持的捷径。AndroidNN诞生之初的定位本就是与上层ML Framework配合&＃xff0c;不假定上层ML Framework一定是TFLite&＃xff0c;这也刚好契合。