「滑板+EdgeBoard竟能搭出AI质检流水线？」“软件杯”全国一等奖团队参赛心得...

“中国软件杯”大学生软件设计大赛由工信部、教育部及江苏省人民政府主办&＃xff0c;为全国普通高校学科竞赛榜单中的重要赛事之一&＃xff0c;旨在探索具有中国特色的软件人才产教融合培养路径&＃xff0c;培养满足产业发展需求的特色化软件人才。

“B2-有限边缘算力下的电路板故障检测”是第十届“中国软件杯”百度飞桨支持的两个赛道之一&＃xff0c;该赛道面向高职院校师生。

在本届赛事中&＃xff0c;长春工业大学的“工大智联”团队&＃xff0c;获得了高职组赛道全国一等奖的好成绩&＃xff0c;以下是团队的参赛历程与心得&＃xff1a;

软件杯百度赛道参赛缘起&＃xff1a;

立足自身专业&＃xff0c;

解决行业实际问题

“工大智联”队的杨小龙 张诒超 许彬&＃xff08;从左至右&＃xff09;

第十届“中国软件杯”已经接近尾声&＃xff0c;“工大智联”队获得了全国一等奖&＃xff0c;我们深感荣幸&＃xff0c;没有辜负老师的指导和自己的努力&＃xff0c;同时也很感谢软件杯组委会和百度公司提供的这次机会。

刚开始了解“软件杯”这个比赛是大一的时候听学长学姐说的&＃xff0c;那时候对这个比赛就心向往之。今年&＃xff0c;我们团队三人组成工大智联报名“软件杯”&＃xff0c;达成所愿。在选题的时候&＃xff0c;我们想到长春是中国的工业城市&＃xff0c;我们又就读于工业大学&＃xff0c;所以就选择了“有限边缘算力下的电路板故障检测”这一赛题。通过AI技术进行缺陷检测&＃xff0c;不仅解放了人员需求&＃xff0c;降低了生产成本&＃xff0c;还对电子领域的发展具有现实的较高经济价值&＃xff0c;能够解决制造业的显示问题和产业需求。

在报名完成后&＃xff0c;我们对这道题展开激烈的讨论。最初&＃xff0c;我们团队在数据集的选择上选用了组委会提供的标准数据集&＃xff0c;另外通过爬虫等方式扩充了数据集&＃xff0c;并对新数据集进行人工标注&＃xff0c;使得模型精度进一步提高。

我们通过多种神经网络的对比研究&＃xff0c;选定了PaddleDetection中快速简单&＃xff0c;背景误检率低&＃xff0c;通用性强速度和精度最均衡&＃xff0c;重点解决小物体检测问题的YOLO_V3神经网络。

基于PaddleDetection的YOLO_V3

在训练的得到一个极佳的模型之后&＃xff0c;我们开始尝试对我们的作品进行软硬件的工程化拓展&＃xff0c;在实现的过程中&＃xff0c;上位机控制系统与底层硬件设备的连接困扰了我们许久&＃xff0c;最终问题得以解决&＃xff0c;则依赖于以下三大要素&＃xff1a;

三大要素之AI部署&＃xff1a;

基于百度EdgeBoard

的AI解决方案

EdgeBoard开发板

EdgeBoard开发板作为百度官方开发的基于赛灵思芯片的FPGA嵌入式AI解决方案&＃xff0c;EdgeBoard开发板具有很强的兼容性&＃xff0c;是我们的拓展功能得以实现的重要基础。

三大要素之软硬件间通信&＃xff1a;

SSH协议与FTP协议

FTP 工作模型

SSH协议可以有效防止远程管理过程中的信息泄露问题&＃xff0c;我们通过口令验证与指令控制EdgeBoard&＃xff0c;实现上位机与EdgeBoard的文件传输&＃xff0c;并基于FTP协议&＃xff0c;管理EdgeBoard上的文件。

团队设计的电路板缺陷检测软件

三大要素之真实流水线搭建&＃xff1a;

迭代3代&＃xff0c;制作出

最小可行性产品

在训练出Map高达95%的模型后&＃xff0c;我们着手搭建电路板缺陷检测的软硬一体环境。我们的硬件设备一共更新了三代。

第一代作品&＃xff1a;用网线&＃43;椅子模拟传送带

第一代产品属于尝试&＃xff0c;有些简陋&＃xff0c;我们就地取材&＃xff0c;拿实验室有的东西搭建的。网线&＃43;椅子模拟传送带&＃xff0c;木棍支撑工业摄像头进行图像获取&＃xff0c;将电路板打印到A4纸上&＃xff0c;识别结果并不理想&＃xff0c;因为A4纸上的电路板模糊不清&＃xff0c;很难被识别出来&＃xff0c;再加之人力拖拽存在很多不确定性&＃xff0c;第一代产品以失败告终&＃xff0c;我们又紧锣密鼓的研究第二代产品的搭建。

第二代作品&＃xff1a;用滑板模拟传送带

第二代产品确实比第一代有显著提升&＃xff0c;我们向同学借了滑板替代了之前的网线&＃43;椅子&＃xff0c;摄像头支架还在路上&＃xff0c;所以还是使用木棍支撑&＃xff0c;电路板我们并没有想到更好的办法&＃xff0c;只是将电路板放大打印&＃xff0c;虽然识别率相较于第一代产品有明显的提升&＃xff0c;但是并没有达到预期的效果。

第三代作品&＃xff1a;搭建传送带分拣系统

第二代产品之后&＃xff0c;有一段时间的空滞期&＃xff0c;在这个期间&＃xff0c;我们整理出能想到的最优解&＃xff0c;并且向学校申请了资金&＃xff0c;购买硬件设备。第三代搭建了包括传送带&＃xff0c;伺服电机&＃xff0c;舵机&＃xff0c;步进电机&＃xff0c;驱动电源&＃xff0c; Arduino控制模块的检测和分拣平台&＃xff0c;并且PCB打印在相片纸上&＃xff0c;清晰度远远高于普通A4纸。第三代产品的实验是在半夜&＃xff0c;我们发现周边环境的光源会影响识别精度&＃xff0c;我们又为第三代产品加了照明装置。很显然这次是成功的&＃xff0c;后续时间我们继续完善该产品&＃xff0c;直至总决赛前夕。

决赛前夕紧张调试设备

面对总决赛答辩&＃xff0c;我们都很忐忑&＃xff0c;不确定自己团队的作品与其他团队的是否有一战之力。结果公布后&＃xff0c;我们很激动&＃xff0c;全国一等奖证明了我们这四个多月的努力没有付诸东流。整个过程中&＃xff0c;我们团队忙得不亦乐乎&＃xff0c;包括作品结构的设计与模型的训练到设计说明书的完成。一步步走来&＃xff0c;有过辛勤汗水的付出&＃xff0c;也有过成就的喜悦&＃xff0c;最终在大家的共同努力下&＃xff0c;拿到了这个荣誉。我代表我的团队感谢“软件杯”组委会&＃xff0c;百度官方给我们提供的这次展现自己的机会。

队长张诒超的获奖证书

长春工业大学的宋涛老师是一等奖团队“工大智联”的指导老师&＃xff0c;他也向飞桨发来了参赛感悟&＃xff1a;

“软件杯的比赛已经结束&＃xff0c;我很荣幸在我指导下我的队伍能在比赛中取得“国家一等奖”优异的成绩。这几个月“PCB缺陷检测与分拣系统”的开发与部署&＃xff0c;是从基本功能的实现&＃xff0c;到为整个系统添加硬件设备&＃xff0c;最后到整个系统的整合与优化&＃xff0c;逐步实现的。这个过程是学生们对人工智能模型与硬件的从陌生到熟悉的过程。”

指导老师宋涛的获奖证书

宋涛表示&＃xff0c;“作为指导教师&＃xff0c;我为我的学生们进行了赛题分析&＃xff0c;提出了大体的系统框架&＃xff0c;在完成赛题要求的基础上我也鼓励学生们做一些功能的拓展&＃xff0c;而学生们也不断在我提供的框架下努力&＃xff0c;攻克难点&＃xff0c;这个过程可能并不容易&＃xff0c;但努力终究会有回报&＃xff0c;最终取得了优异的成绩&＃xff0c;希望大家再接再厉&＃xff0c;不断突破自我&＃xff0c;取得更加优异的成绩。”

长按下方二维码立即

Star

更多信息&＃xff1a;

1. 飞桨官方QQ群&＃xff1a;793866180

2. 飞桨官网网址&＃xff1a;

   www.paddlepaddle.org.cn/

3. 飞桨开源框架项目地址&＃xff1a;

   GitHub:

   github.com/PaddlePaddle/Paddle 
   Gitee:

   gitee.com/paddlepaddle/Paddle

4. 欢迎在飞桨论坛讨论交流~~

   http://discuss.paddlepaddle.org.cn