论AI小游戏是怎么练成的——『寻物大作战』原理揭秘

AI诞生以来&＃xff0c;应用在了各个场景来帮助人们提高效率&＃xff0c;优化体验。而在娱乐领域&＃xff0c;越来越多的电子游戏开始将AI技术与游戏结合。今天我们为大家带来『寻物大作战』小游戏&＃xff0c;真是称得上小小的身体&＃xff0c;大大的能量&＃xff01;只要在规定时间内寻找指定的物品即可完成任务&＃xff0c;通过摄像头可智能识别找到的物品&＃xff0c;简单方便&＃xff0c;无论是朋友聚会还是亲子互动&＃xff0c;都是活跃气氛的利器了&＃xff01;

只需在『微信』搜索小程序“PaddlejsPlugin”&＃xff0c;或是扫描下面的二维码即可快速开始游戏。动动手指&＃xff0c;快来挑战一下吧&＃xff01;

这个小游戏是由PaddleClas联合Paddle.js打造&＃xff0c;下面小编就为大家揭秘在这背后究竟是何原理&＃xff0c;让你也能轻松拥有自己的专属的AI小游戏&＃xff01;

总体来说“寻物大作战”小游戏背后所依赖的正是目前AI领域最热门的深度学习技术&＃xff0c;通过一套端到端的图像分类模型来实现物体识别的效果。虽然听起来“高大上”&＃xff0c;有了下面这两个开发神器的力量加持&＃xff0c;对新手用户&＃xff0c;甚至是小白用户可以说非常友好&＃xff01;这两个神器就是&＃xff1a;&＃xff08;噔噔噔噔~&＃xff09;百度飞桨图像分类套件PaddleClas和基于Javascript的深度学习前端推理引擎Paddle.js~

PaddleClas作为“开箱即用”的图像分类套件&＃xff0c;拥有180&＃43;预训练模型&＃xff0c;都只需经过简单配置&＃xff0c;即可完成从训练到部署的全流程工作。

近年来&＃xff0c;深度学习技术越发的火热&＃xff0c;计算机视觉在生活中得到了越来越多的应用&＃xff0c;但受制于深度学习技术对庞大算力的需求&＃xff0c;其在手机等算力有限设备上的应用总是捉襟见肘&＃xff0c;以图像识别任务为例&＃xff0c;高精度的网络模型往往意味着高算力的需求&＃xff0c;『寻物大作战』能够在手机小程序中实现&＃xff0c;而且可以针对视频流实时推理&＃xff0c;其背后正是PaddleClas近期所推出的轻量级CPU场景骨干网络模型PP-LCNet。

链接指路&＃xff1a;

https://github.com/PaddlePaddle/PaddleClas

PP-LCNet模型以推理速度作为优化指标&＃xff0c;特别针对Intel CPU平台所设计&＃xff0c;同时兼顾ARM等移动端平台&＃xff0c;在速度与精度的平衡上更为优秀&＃xff0c;与现有SOTA模型相比&＃xff0c;真正做到速度更快、精度更高。此外经过验证&＃xff0c;PP-LCNet在目标检测、语义分割等下游视觉任务上同样具有优秀的性能。

Paddle.js是百度飞桨基于Javascript的深度学习框架&＃xff0c;也是国内首款开源前端智能框架。其应用环境不局限于浏览器&＃xff0c;对小程序同样做了支持。通过Paddle.js运行AI模型&＃xff0c;可以提供给用户高实时性、低延迟的体验&＃xff0c;逐渐成为处理AI需求的更优解。在『寻物大作战』小游戏中&＃xff0c;使用Paddle.js仅仅三个步骤就能赋予小程序AI能力。

轻松接入Paddle.js后&＃xff0c;我们接下来看看在『寻物大作战』小程序上的最终实践效果。游戏要求玩家在规定时间内&＃xff0c;利用手机摄像头&＃xff0c;找出和题目匹配的物品。

主体实现思路可以归纳为&＃xff0c;利用Paddle.js连续预测摄像头中的图像信息&＃xff0c;判断和题目物品是否相符。仅仅几行代码就可以帮你实现&＃xff01;

不难分析出&＃xff0c;推理运算耗时在一定程度上会影响游戏的流畅度。耗时越少&＃xff0c;用户感受越好。我们在WebGL backend上对不同机型测试了推理耗时&＃xff0c;在红米K30上单帧推理耗时仅为 32.1毫秒&＃xff0c;iPhoneX为49.24毫秒&＃xff0c;对比采用网络传输数据至服务端推理的方案&＃xff0c;性能优势显而易见&＃xff01;在应对需要推理结果具有较好实时性的需求时&＃xff0c;采用Paddle.js的方案将是更优的选择。

Paddle.js作为前端深度学习框架&＃xff0c;还提供了模型转换、模型优化&＃xff0c;性能工具和预训练模型库&＃xff0c;包含人像分割、文字识别、手势识别及物品分类等模型的SDK&＃xff0c; 提供开箱即用的 AI 能力&＃xff0c;帮助用户快速实现 AI 效果。在性能方面通过算子融合、数据并行计算以及FP16量化等优化策略提升推理性能&＃xff0c;给用户更好的使用体验。同时Paddle.js也提供了全套的模型加密方案保证用户模型安全。

说了这么多&＃xff0c;感兴趣的小伙伴肯定迫不及待了吧~ 下面就送上我们的项目传送门&＃xff1a;

https://github.com/PaddlePaddle/Paddle.js

开源不易&＃xff0c;还请大家给我们的程序猿小哥哥一个Star的鼓励吧~

同时期待各位更多新的创意哦~

直播预告

11月1日&＃xff0c;这款小游戏的作者将来到飞桨直播间&＃xff0c;分享这款微信识物小游戏是如何炼成的&＃xff0c;欢迎大家进群观看直播&＃xff0c;进行技术交流喔。

直播精彩抢先看&＃xff1a;

• 深度学习图像分类应用介绍&＃xff1b;

• 识图小游戏模型原理揭秘&＃xff1b;

• Paddle.js助力小程序快速推理&＃xff1b;

• 模型训练部署一条龙上手。

直播时间&＃xff1a;

11月1日 19:00-21:00

直播链接&＃xff1a;

http://live.bilibili.com/21689802

&＃xff08;扫码入群&＃xff0c;观看直播&＃xff09;

长按下方二维码立即

Star

更多信息&＃xff1a;

1. 飞桨官方QQ群&＃xff1a;793866180

2. 飞桨官网网址&＃xff1a;

   www.paddlepaddle.org.cn/

3. 飞桨开源框架项目地址&＃xff1a;

   GitHub:

   github.com/PaddlePaddle/Paddle 
   Gitee:

   gitee.com/paddlepaddle/Paddle

4. 欢迎在飞桨论坛讨论交流~~

   http://discuss.paddlepaddle.org.cn