c#和java部署pytorch同事识别两个图片_手把手教你移动端AI应用开发（三）——部署环节关键代码最详解读...

AI应用的核心包括以下两大块&＃xff1a;如何开发一个模型、以及如何将模型部署到项目进行应用。

现在有许多关于AI的教程&＃xff0c;比如如何进行目标检测、图像分类、NLP以及构建聊天机器人等&＃xff0c;反复强调相同的几点&＃xff1a;

1. 首先&＃xff0c;使用像飞桨这样的深度学习平台开发模型。
2. 然后&＃xff0c;将模型打包到网页Paddle.js、移动端Paddle Lite、单机Paddle Inference、或者服务器Paddle Servering。

如何开发一个模型&＃xff0c;无论是学术论文还是工业实践&＃xff0c;相关的详细讲解随处可见&＃xff1b;而如何实现第二点的细节&＃xff0c;相关的讲解却很少。

本文将为大家详细解读将模型集成到移动端应用的核心代码。其他部署详解后续会陆续推出&＃xff0c;敬请期待哦&＃xff01;

集成流程

对所有模型来说&＃xff0c;将模型集成到移动端应用的流程是相同的&＃xff1a;

​

集成流程分两大阶段&＃xff1a;

1. 模型训练阶段&＃xff1a;主要解决模型训练&＃xff0c;利用标注数据训练出对应的模型文件。面向端侧进行模型设计时&＃xff0c;需要考虑模型大小和计算量。
2. 模型部署阶段&＃xff1a;

• • 模型转换&＃xff1a;如果是Caffe, TensorFlow或ONNX平台训练的模型&＃xff0c;需要使用X2Paddle工具将模型转换到飞桨的格式。本次使用的ocr模型是使用Paddle平台训练的模型&＃xff0c;因此不需要进行转换。
  • (可选)模型压缩&＃xff1a;主要优化模型大小&＃xff0c;借助PaddleSlim提供的剪枝、量化等手段降低模型大小&＃xff0c;以便在端上使用。
  • 将模型部署到Paddle Lite。
  • 在终端上通过调用Paddle Lite提供的API接口&＃xff08;C&＃43;&＃43;、Java、Python等API接口&＃xff09;&＃xff0c;完成推理相关的计算。

具体实现方法

移动端的AI应用开发具体实现&＃xff0c;包含以下操作&＃xff1a;

​

1. 生成和优化模型。先经过模型训练得到Paddle模型&＃xff0c;该模型不能直接用于Paddle Lite部署&＃xff0c;需先通过Paddle Lite的opt离线优化工具优化&＃xff0c;然后得到Paddle Lite nb模型。如果是Caffe, TensorFlow或ONNX平台训练的模型&＃xff0c;需要使用X2Paddle工具将模型转换到Paddle模型格式&＃xff0c;再使用opt优化。X2Paddle使用方法&＃xff1a;https://paddle-lite.readthedocs.io/zh/latest/user_guides/x2paddle.html
   opt工具使用方法&＃xff1a;https://paddle-lite.readthedocs.io/zh/latest/user_guides/model_optimize_tool.html
2. 获取Paddle Lite推理库。Paddle Lite新版本发布时已提供预编译库&＃xff0c;因此无需进行手动编译&＃xff0c;直接下载编译好的推理库文件即可。
3. 构建推理程序。使用前续步骤中编译出来的推理库、优化后模型文件&＃xff0c;首先经过模型初始化&＃xff0c;配置模型位置、线程数等参数&＃xff0c;然后进行图像预处理&＃xff0c;如图形转换、归一化等处理&＃xff0c;处理好以后就可以将数据输入到模型中执行推理计算&＃xff0c;并获得推理结果。

Paddle Lite预测库

Paddle Lite库可以通过飞桨下载&＃xff0c;链接&＃xff1a;

https://paddle-lite.readthedocs.io/zh/latest/user_guides/release_lib.html。

模型文件

模型文件assets包含了两个深度学习模型&＃xff0c;图片作为输入&＃xff0c;同时将模型导入Paddle Lite中&＃xff0c;输出即为检测的结果&＃xff0c;模型的作用如下&＃xff1a;

1. ch_det_mv3_db_opt.nb&＃xff1a;文字检测的模型&＃xff0c;输入为图像&＃xff0c;输出为文字的区域坐标

2. ch_rec_mv3_crnn_opt.nb&＃xff1a;文字识别的模型&＃xff0c;输入的文字检测的结果&＃xff0c;输出为文字识别结果

OCR的过程其实是两个模型的串行工作过程&＃xff0c;将文字检测模型的输出结果作为文字识别模型的输入&＃xff0c;最后输出最终的结果。

这两个模型&＃xff0c;可以通过PaddleOCR github下载&＃xff1a;

优化前的模型下载链接&＃xff1a;

https://github.com/PaddlePaddle/PaddleOCR/blob/develop/README_cn.md#%E4%B8%AD%E6%96%87ocr%E6%A8%A1%E5%9E%8B%E5%88%97%E8%A1%A8

opt优化后的模型链接&＃xff1a;

https://github.com/PaddlePaddle/PaddleOCR/blob/develop/deploy/lite/readme.md#21-%E6%A8%A1%E5%9E%8B%E4%BC%98%E5%8C%96

推理程序代码解读

推理程序代码目录结构&＃xff1a;

其中&＃xff0c;src是主要源代码目录&＃xff0c;下文详细逐一介绍。

01 C&＃43;&＃43; 程序代码目录&＃xff08;JNI调用C&＃43;&＃43;自定义类&＃xff09;

C&＃43;&＃43;&＃xff08;cpp&＃xff09;程序代码是移动端app的核心算法代码。C&＃43;&＃43;程序代码的作用&＃xff1a;向下调用OpenCV库和Paddle Lite库中的函数&＃xff0c;来实现模型的推理预测功能&＃xff08;底层实现&＃xff09;&＃xff1b;向上提供接口给上层的功能应用层的java程序调用。

C&＃43;&＃43;代码目录如下&＃xff1a;

具体推理步骤如下所示&＃xff1a;

1. 检测预处理

2. 检测模型预测-> 得到预测结果-> 检测后处理-> 获得检测的文本框

3. 根据检测文本框&＃xff0c;从原图中把检测到的文本行剪切出来&＃xff1b;

4. 将每个剪切出来的文本行&＃xff0c;输入给识别网络预处理

5. 识别网络预处理后&＃xff0c;输入给识别网络预测

6. 识别网络预测结果解析得到预测文本

代码包括四个部分&＃xff1a;

1. 检测模型预处理&＃xff0c;后处理&＃xff1b;

2. 识别模型预处理

3. 模型预测

4. 模型预测准备&＃xff0c;包括模型初始化&＃xff0c;给输入数据分配内存等。

其中&＃xff0c;模型ch_det_mv3_db_opt.nb&＃xff1a;

1. 预处理在Predictor.java中完成
2. 推理在ocr_ppredictor.cpp中的_det_predictor
3. 后处理在ocr_db_post_process.cpp里

模型ch_rec_mv3_crnn_opt.nb&＃xff1a;

1. 根据ocr_db_post_process.cpp结果&＃xff0c;在ocr_crnn_process抠出多张含有文字的小图
2. 对每张小图进行预处理&＃xff0c;在preprocess.cpp里完成
3. 对每张小图进行推理在ocr_ppredictor.cpp中的_rec_predictor。
4. 所有小图的结果&＃xff0c;序列化成float&＃xff0c;传输到java层
5. 在OCRPredictorNative.java 解析成最终结果

核心预测代码&＃xff1a;

https://github.com/PaddlePaddle/PaddleOCR/blob/7b201a385547152a015c27dc3d17e9c3ae12a5fb/deploy/android_demo/app/src/main/cpp/ocr_ppredictor.cpp#L67

02 java程序代码目录

Java程序属于上层功能应用的开发&＃xff0c;主要工作是调用函数的接口&＃xff1a;

• 读取相册中的图像
• 创建Paddle Lite的预测对象Predictor
• 将模型文件和图像送入Predictor中进行推理预测
• 预测的结果送入OcrResultModel中&＃xff0c;在输出的图像上绘制预测结果&＃xff0c;并在APP上显示

修改MiniActivity.java中的代码&＃xff1a;predictor.init( )&＃xff1a;Predictor的初始化&＃xff0c;配置一些预测的参数&＃xff08;输入的尺寸、模型的路径等&＃xff09;&＃xff1b;predictor.process( )&＃xff1a;进行推理预测。

MiniActivity是入口的java文件&＃xff0c;相当于是APP的主函数、程序入口&＃xff0c;其他.java文件被它调用activity_mini.xml是MiniActivity对应的UI布局&＃xff0c;是APP控件开发&＃xff0c;定义了APP的各个控件的布局

本项目增加了三个控件&＃xff1a;&＃xff08;控件在.java文件中的调用通过其ID&＃xff0c;类似于变量名&＃xff09;。

​

03 jniLibs&＃xff08;so方式集成C&＃43;&＃43;代码&＃xff09;

C&＃43;&＃43;的文件&＃xff0c;最终都会编译成so文件&＃xff0c;然后同java编译dex文件&＃xff0c;一起打包成apk文件。

我们也可以直接使用apk文件里编译好的so文件。

示例中的方式是从官方demo的apk文件里提取的so文件。

​

04 build.gradle

app目录下的build.gradle文件用来配置对应的APP。需要设置compileSdkVersion和targetSdkVersion的版本与前面软件中配置的SDK相同。同时&＃xff0c;添加abiFilters &＃39;armeabi-v7a&＃39;, &＃39;arm64-v8a&＃39;指定编译的平台&＃xff0c;如果不指定就会默认编译出所有平台的目标文件&＃xff0c;而我们的库只支持了arm-v7和arm-v8&＃xff0c;运行时可能会报错。

根目录也就是Project下的build.gradle文件用来配置整个Project&＃xff0c;本次项目不需要修改。

补充说明

1. 橙色的文件夹都是build编译生成的目标文件&＃xff08;不用手动编辑&＃xff09;

2. libs是存放静态库或者动态库&＃xff08;不用修改&＃xff09;

3. src/main/里的java和cpp文件夹存放app运行的源代码&＃xff0c;包括Java和C&＃43;&＃43;的代码&＃xff08;上层的应用开发使用Java&＃xff0c;底层的具体实现使用C&＃43;&＃43;&＃xff0c;此项目中两者都要开发&＃xff09;。

4. OpenCV库可以通过OpenCV官网下载&＃xff0c;链接&＃xff1a;https://opencv.org/releases/&＃xff0c;本次用的是4.2 android。

亲自实践一把&＃xff01;

看到这里&＃xff0c;是不是觉得开发一个移动端AI应用也没那么难呢&＃xff1f;飞桨提供了很多的开源模型&＃xff0c;有兴趣的朋友可以参考本教程&＃xff0c;发挥自己的想象力&＃xff0c;开发更多有趣、有意义的应用哈。