PaddleLite新增ARM端图像预处理库

Paddle Lite 是飞桨的端侧推理引擎&＃xff0c;具有高性能、多硬件、轻量级的特点&＃xff0c;它支持飞桨/TensorFlow/Caffe/ONNX等模型在ARM CPU, Mali GPU, Adreno GPU, Huawei NPU 等多种硬件上的推理部署&＃xff0c;性能达到业内领先。

目前Paddle Lite保持快速的迭代优化升级&＃xff0c;距离正式版2.0.0发布仅一个月&＃xff0c;Paddle Lite又一次发布了2.1.0版本。

Paddle Lite的Github链接&＃xff1a;

https://github.com/PaddlePaddle/Paddle-Lite

01

Paddle Lite v2.1.0的重点功能

1.新增ARM端图像预处理库&＃xff0c;用于图像预处理&＃xff0c;它可以

• 支持多种颜色空间转换&＃xff0c;如NV12_To_RGB、GRAR_To_RGB等

• 支持多种图像预处理操作&＃xff0c;如图像旋转、翻转等

• 支持图像数据到Tensor的转换&＃xff0c;如RGB_To_NCHW(Tensor)等

• 相关功能性能优于OpenCV。对1920x 1080的BGR图像&＃xff0c;做如下操作&＃xff1a;

o   Resize&＃xff1a;1920x 1080 --540x960

o   Rotate&＃xff1a;1920x 1080 旋转90度

o   Flip&＃xff1a;沿xy轴对角线翻转

与OpenCV在ARM v7 4线程下的性能对比数据如下图所示&＃xff1a;

2.新增按模型集合裁剪预测库的功能。开发者可以通过该功能只保留给定多个模型线上预测所需要的op和kernel&＃xff0c;从而压缩预测库体积。

3.优化报错信息&＃xff0c;在Android中支持原生系统报错。

02

Paddle Lite v2.1.0更多新特性一览

1.基础功能升级

a.新增op

• x86 tanh, gelu

• x86 stack

b.op升级&＃xff0c;与飞桨 v1.6对齐

• reshape支持输入用std::vector>描述shape信息

• slice支持starts、ends用Tensor、TensorList描述

• lookup_table 去除最后一维必须为1的限制&＃xff0c;保留原op&＃xff0c;新增op为lookup_table_v2

• resize_bilinear和resize_nearest&＃xff0c;增加用TensorList和Tensor描述resize的shape信息

c.新增模型

• x86增加MobileNetV1, MobileNetV2支持

d.API对齐

Python、Java、C&＃43;&＃43;三种 API核心接口对齐&＃xff1a;

• MobileConfig模式下&＃xff0c;Python &＃xff0c; Java&＃xff0c;C&＃43;&＃43;接口完整对齐&＃xff0c;适用于移动端的轻量级部署场景 

• CxxConfig 模式下&＃xff0c;Python&＃xff0c;C&＃43;&＃43;接口完整对齐&＃xff0c;适用于非轻量级部署场景

e.升级量化模型支持

• 支持飞桨训练后量化方法产出的量化模型&＃xff0c;比如MobileNetV1、 MobileNetV2、ReseNt50

• 支持飞桨量化训练方法产出权重量化方式为channel_wise_abs_max的量化模型

f.预测库整理

重新整理核心库包含的&＃xff08;basic&＃xff09; op&kernel&＃xff0c;使基础预测库&＃xff08;build_extra&＃61;OFF&＃xff09;支持CV类9个经典模型&＃xff08;包括飞桨原生模型和对应的 X2Paddle第三方转化模型&＃xff09;和3个量化模型&＃xff0c;且tiny_publish下预测动态库体积不变。支持模型如下&＃xff1a;

• 9个经典模型及其飞桨转化模型&＃xff1a;MobileNetV1、MobileNetV2、MnasNet、ResNet50、YOLOv3、SSD_MobileNetV1、 U-Net、SqueezeNet_v1.1、ShuffleNet_v2

• 3个int8量化模型&＃xff1a;MobileNetV1、MobileNetV2、ResNet50

2.性能优化

主流模型的性能优化持续迭代。以MobileNetV1为例&＃xff0c;性能保持领先&＃xff0c;如下图所示&＃xff1a;

改进ARM CPU conv3x3实现方式&＃xff0c;ResNet、SqueezeNet等模型性能提升。ResNet50性能如下图所示&＃xff1a;

3.编译

• X86与CUDA编译时第三方库下载加速 (X86编译相关的第三方库Eigen、MKLML、xxHash改为从百度云地址下载&＃xff0c;加速编译过程)

• NPU的编译支持华为官方最新版HiAI DDK 310

 4.文档

• 新增Pass介绍与注册方法文档&＃xff1a;

  https://paddlepaddle.github.io/Paddle-Lite/v2.1.0/add_new_pass/

• 补齐了 Cxx API文档&＃xff1a;

  https://paddlepaddle.github.io/Paddle-Lite/v2.1.0/cxx_api_doc/

• 新增CV图像预处理库API接口介绍文档&＃xff1a;

  https://paddlepaddle.github.io/Paddle-Lite/v2.1.0/cv/

• 新增部署训练后量化模型的使用示例文档&＃xff1a;

  https://paddlepaddle.github.io/Paddle-Lite/v2.1.0/model_quantization/#%E8%AE%AD%E7%BB%83%E5%90%8E%E9%87%8F%E5%8C%96
  

5.Bug修复

修补了一些上个版本中存在的Bug。 

如果您想了解更多关于Paddle Lite的相关内容&＃xff0c;请参阅以下文档&＃xff1a;

• Paddle Lite的Github链接&＃xff1a;

  https://github.com/PaddlePaddle/Paddle-Lite

• Paddle Lite的文档链接&＃xff1a;

  https://paddlepaddle.github.io/Paddle-Lite/

• Paddle Lite Demo的链接&＃xff1a;

  https://github.com/PaddlePaddle/Paddle-Lite-Demo

• 飞桨的Github链接&＃xff1a;

  https://github.com/paddlepaddle

如果使用过程中遇到任何问题&＃xff0c;大家可通过Paddle Lite官方QQ群与开发人员进行技术交流及问题反馈&＃xff0c;群号&＃xff1a;696965088。