node获取图片路径_骚操作，Node.js接入PaddleLite，网站也能AI推理

随着桌面端Electron技术逐步崛起&＃xff0c;基于Electron开发的代码编辑器、聊天软件、游戏等层出不穷。

对于习惯使用Node.js进行后端开发的朋友来说&＃xff0c;开发一套漂亮的桌面UI客户端还是有一定难度的&＃xff1b;而Electron开发不要太简单&＃xff0c;只要会写HTML&＃xff0c;就能写客户端&＃xff0c;剩下的交给时间慢慢打磨即可。而且&＃xff0c;这款开源的技术允许开发者使用Javascript、HTML 和 CSS 构建跨平台的桌面应用程序。不同平台UI效果和网页显示效果一致&＃xff0c;非常易用。

那么在桌面客户端上面&＃xff0c;我们能否帮开发者实现本地部署Paddle Lite进行推理呢&＃xff1f;答案是肯定的。Paddle Lite提供C&＃43;&＃43;接口&＃xff0c;并且在2.6.0版本中支持了Windows开发环境。这为我们将Paddle Lite封装成Node.js的C&＃43;&＃43;插件提供了可能。如果能够成功移植&＃xff0c;开发桌面应用的时候就可以实现在客户端上完成图片分类等任务。同时Paddle Lite提供的模型非常轻量化&＃xff0c;常规PC机足以跑出不错的性能。

而且&＃xff0c;对于其他Node.js场景来说&＃xff0c;比如网站后端&＃xff0c;也可以直接使用Paddle Lite进行推理。

于是我做了一个Demo&＃xff0c;其本质上是将Paddle Lite的C&＃43;&＃43; API封装为Paddle Lite类&＃xff0c;这个类目前提供了两个方法&＃xff0c;分别是set_model_file和infer_float。在此之上&＃xff0c;我使用N-API来编写Node.js插件&＃xff0c;将其组合起来&＃xff0c;允许Node.js调用Paddle Lite的C&＃43;&＃43; API。

项目效果

1. 下载预编译结果&＃xff1a;可以直接在Paddle Node的Release界面下载预编译的结果&＃xff0c;包括以下三个文件&＃xff1a;

• paddlenode.node &＃xff1a;编译后的Node.js模块
• libiomp5md.dll &＃xff1a;OpenMP DLL
• mklml.dll &＃xff1a;MKL数学核心库

2. 下载并转化预训练模型&＃xff1a;从官方开放的模型库中下载mobilenet_v1模型&＃xff0c;并使用opt工具(Paddle Lite自带此工具)转换&＃xff1a;1.安装Paddle Lite :

pip install paddlelite2. 转化模型&＃xff1a;

paddle_lite_opt –model_dir&＃61;./mobilenet_v1 –valid_targets&＃61;x86 –optimize_out&＃61;mobilenetv1_opt执行上面步骤后我们可以得到转化后的模型文件&＃xff1a;mobilenetv1_opt.nb3. 在Node.js中进行推理&＃xff1a;

var addon &＃61; require(&＃39;./paddlenode&＃39;)var arr &＃61; new Array(150528)for(var i&＃61;0; i1;
addon.set_model_file("./mobilenetv1_opt.nb")
addon.infer_float(arr,[1, 3, 224, 224])这里我们输入全1的数组进行模拟&＃xff0c;set_model_file方法直接对应Paddle Lite中的set_model_from_file&＃xff0c;infer_float的第一个参数是我们要传入的数据&＃xff0c;第二个是传入数据的尺寸。如果各个元素乘积大小和传入数据的大小不同&＃xff0c;将会抛出一个错误。之后我们会得到一个1001维的数组&＃xff1a;其中0号元素为结果向量的大小&＃xff0c;方便进行遍历&＃xff0c;其他元素即为模型本身的输出。

手动编译

如果你决定手动编译&＃xff0c;首先需要从Paddle Lite的Release中找到x86的预编译结果&＃xff0c;目前最新版本是v2.6.1。下载下来之后定位到binding.gyp,将lite_dir变量设定为预编译库

文件夹的绝对路径&＃xff0c;示例如下&＃xff1a;

{&＃39;variables&＃39;: {&＃39;lite_dir%&＃39;: &＃39;C:/Users/Li/Desktop/Exp/inference_lite_lib.win.x86.MSVC.C&＃43;&＃43;_static.py37.full_publish&＃39;,
    },"targets": [
        {&＃39;target_name&＃39;: "paddlenode",&＃39;sources&＃39;: ["paddlelib.h","paddlelib.cc","paddlenode.cc"],&＃39;defines&＃39;: [
            ],&＃39;include_dirs&＃39;: [","
            ],&＃39;libraries&＃39;: ["-l,"-l,"-l,"-lshlwapi.lib"
            ]
        }
    ]
}之后定位到我们的源码所在目录&＃xff0c;确保你已经安装好了node-gyp和windows-build-tools&＃xff0c;运行&＃xff1a;

node-gyp configure build即可生成最终结果&＃xff0c;但是记得从预编译库中复制两个dll动态链接库到编译结果目录。因为官方发布的为Release版lib文件&＃xff0c;这里如果使用debug版会导致不匹配的错误。

原理介绍

这个项目实际上是在Paddle Lite的C&＃43;&＃43; Demo上套了一层壳&＃xff0c;我们最需要关注的是怎么将N-API和C的对象互相转换&＃xff0c;在Node.js的官方文档中给出了非常多的函数和解释&＃xff0c;在此基础上做转换即可。这里给出一些函数的解释&＃xff1a;

• napidefineproperties - 定义资源
• napigetcb_info - 获取调用的信息
• napithrowerror - 抛出错误
• napitypeo - 获取napivalue的类型
• napigetvaluestringutf8 - 将napi_value转换为utf8字符串
• napigetarraylength - 获取napivalue对应的数组长度
• napigetvaluedouble - 获取napivalue对应的双精度数组元素
• napigetvalueint32 - 将napivalue转换为32位整型
• napigetvaluedouble - 将napivalue转换为双精度浮点数
• napicreatedouble - 将双精度浮点数转换为napi_value

还有一些函数大体作用相同&＃xff0c;仅仅作为转换作用。

写在最后

飞桨已经推出的Paddle.js支持直接在浏览器中进行推理。而本文介绍的Paddle Node项目从另一个角度为Node.js提供可能。飞桨的中文生态给国内开发者和入门者提供了非常大的便利&＃xff0c;大大降低了大家的学习成本。希望飞桨能够做得越来越好&＃xff0c;进一步降低用户使用门槛&＃xff0c;非常感谢。

本项目代码&＃xff1a;

https://github.com/KernelErr/paddlenode

C/C&＃43;&＃43; Addons with N-API&＃xff1a;https://nodejs.org/docs/latest-v12.x/api/n-api.html官网地址&＃xff1a;https://www.paddlepaddle.org.cnPaddle Lite&＃xff1a;https://github.com/PaddlePaddle/Paddle-LitePaddle.js&＃xff1a;https://github.com/PaddlePaddle/Paddle.js飞桨开源框架项目地址&＃xff1a;GitHub:https://github.com/PaddlePaddle/PaddleGitee: https://gitee.com/paddlepaddle/Paddle推荐阅读

用人话讲解GPL 2.0协议

从Copyright到Copyleft&＃xff0c;聊聊版权与开源协议

利用人工智能给游戏“开挂”&＃xff0c;但求一败

你看得上瘾的斗鱼&＃xff0c;首次开源了自家项目

只剩下[ ]和( )可选&＃xff0c;Go泛型要用哪个&＃xff1f;