水果识别系统

   现在很多农场里边使用摘采机器人识别水果进行水果摘采&＃xff0c;盒马超市也使用自动识别称来识别水果种类自动计费。本案例则是使用HaaS Python对摄像头图像进行采集&＃xff0c;并调用HaaS云端积木能力对水果进行识别。

1、背景知识

   水果的种类繁多&＃xff0c;识别种类越多&＃xff0c;需要越多的水果图片数据进行模型训练。本章通过使用串口摄像头采集水果照片上传至云端进行识别。目前HaaS云端积木的水果检测识别功能可以检测图像中的所有水果&＃xff0c;并返回水果的名称和置信度。水果识别可以识别60种常见的水果和16种坚果。比如&＃xff1a;八月瓜、百香果、菠萝、菠萝蜜、草莓、橙子、脆瓜、甘蔗、桂圆、哈蜜瓜、海底椰、海红果、红毛丹、火龙果、桔子、蓝莓、梨、荔枝、李子、榴莲、蔓越莓、芒果、梅子、猕猴桃、木瓜、柠檬、牛油果、欧李、枇杷、苹果、葡萄、茄瓜、桑葚、沙果、沙棘果、山楂、山竹、蛇皮果、石榴、柿子、树莓、桃、桃胶、西瓜、西梅、仙人掌果、香瓜、香蕉、橡子、小番茄、杏子、雪莲果、杨梅、洋蒲桃、杨桃、椰子、银杏果、樱桃、柚子、枣、南瓜子、夏威夷果、巴旦木、开心果、杏仁、松子、板栗、核桃、榛子、白果、碧根果、腰果、花生、葡萄干、葵花子、西瓜子等。

1.1、场景功能拆解

   实验整体步骤如下&＃xff1a;

1. 1. 连接硬件
   2. HaaS云端积木平台创建设备
   3. 设备端开发
   4. 运行结果

1.2、准备

1. M5Stack Core2开发板 一套
2. M5Stack Unit CAM摄像头 一个
3. 连接线 一条

   涉及到的硬件购买链接如下&＃xff0c;仅供参考&＃xff0c;不负责商家发货的品质保障等问题&＃xff01;

   硬件连线图如下图所示&＃xff1a;

2、云端设备创建

2.1、注册阿里云账号

   进入阿里云账号注册页面 进行阿里云账号注册&＃xff0c;注册完成后登录官网。如果您已经有阿里云账号&＃xff0c;直接登录即可。

2.2、HaaS云端积木平台

   进入阿里云HaaS官网 。

   如上图所示&＃xff0c;点击右上角的“控制台”&＃xff0c;进入HaaS云端积木的控制台页面。

1. 创建设备

   在左侧导航栏设备管理中&＃xff0c;可以看到产品和设备选项&＃xff0c;点击“产品”&＃xff0c;可以看到平台默认创建了“haas_正式游客产品”这个产品&＃xff1b; 所以开发者只需要创建设备即可。点击“批量添加”&＃xff0c; 添加方式为“自动生成”&＃xff0c; 申请数量可填为“1”个&＃xff0c;即可完成新设备的创建。

1. 获取设备的三元组

   在设备的列表中&＃xff0c;新创建的设备上点击“查看”,就可以获得设备的三元组信息&＃xff0c;之后这个三元组信息会在设备端代码中使用到。

3、设备端开发

3.1、开发环境准备

   在进行下一步之前请确保M5StackCore2中已经烧录了HaaS Python固件并且其开发环境已经搭建完毕。详情请参考M5StackCore2快速开始中的说明。

3.2、创建解决方案

   如下图所示&＃xff0c;打开VS Code之后在新建一个基于helloworld的python工程&＃xff0c;设定好工程名称&＃xff08;“fruits_recognization”&＃xff09;及工作区路径之后&＃xff0c;硬件类型选择m5stackcore2&＃xff0c;点击”立即创建“&＃xff0c;创建一个Python轻应用的解决方案。

   将HaaS Pyhton水果识别代码文件下的所有脚本进行复制到“fruits_recognization”工程根目录中覆盖原本的脚本&＃xff0c;然后进行如下设定完成设备端代码的开发。

Python脚本的详细说明请参考脚本内嵌的文字注释

1. 修改路由器名称及密码

   修改fruits_recognization工程里main.py中SSID和PWD的值为读者实际要连接的路由器的名称及密码&＃xff08;请注意名称和密码都需要放在&＃39;&＃39;符号中间&＃xff09;。

# Wi-Fi SSID和Password设置
SSID&＃61;&＃39;Your-AP-SSID&＃39;
PWD&＃61;&＃39;Your-AP-Password&＃39;

   修改完成之后connect_wifi函数就会连接读者自己设定的路由器。

1. 修改设备的三元组信息

   按照[获取设备的三元组]获取三元组信息&＃xff0c;填入main.py中&＃xff1a;

# HaaS设备三元组
productKey &＃61; "Your-ProductKey"
deviceName &＃61; "Your-devicename"
deviceSecret &＃61; "Your-deviceSecret"

4、运行结果

   推送fruits_recognization工程到M5StackCore2开发板之后&＃xff0c;脚本在网络连接成功后&＃xff0c;会将IP地址信息打印在屏幕上。

   屏幕上提示”NTP done“代表NTP时间同步成功。NTP时间同步成功之后&＃xff0c;脚本会自动从摄像头采集图像信息并调用HaaS云端积木能力进行水果识别&＃xff0c;在检测到水果后会在屏幕上显示红色”XXXX Detected“字样。

   如下是整个过程中串口的日志打印&＃xff0c;其中&＃xff1a;

• Wi-Fi is connecting&＃xff1a;代表正在连接路由器
• IP: 192.168.0.158&＃xff1a;打印获取到的IP地址信息
• NTP start&＃xff1a;表示开始进行NTP对时
• NTP done&＃xff1a; 表示NTP对时结束
• link platform connected&＃xff1a;表示成功连接到阿里云平台服务
• {&＃39;ext&＃39;: &＃39;{"fruitList"...&＃xff1a;打印云端对图片进行水果检测后返回的检测结果
• Fruits Detected&＃xff1a;表示检测到水果

I (71364) phy: phy_version: 4500, 0cd6843, Sep 17 2020, 15:37:07, 0, 0
Wi-Fi is connecting...
Wi-Fi is connecting...
Wi-Fi is connected
IP: 192.168.3.26
NTP start
NTP done
establish tcp connection with server(host&＃61;&＃39;a1kJJvGN9ko.iot-as-mqtt.cn-shanghai.aliyuncs.com&＃39;, port&＃61;[443])
tcp_connect: can only connect from state CLOSED
success to establish tcp, fd&＃61;54
link platform connected
capture time : 214
image time : 151
{&＃39;ext&＃39;: &＃39;{"fruitList":[{"box":[117.39963,37.268333,267.16675,202.39557],"name":"\u82f9\u679c","score":0.78409535}],"result":"success"}&＃39;, &＃39;commandName&＃39;: &＃39;detectFruitsReply&＃39;, &＃39;commandType&＃39;: &＃39;haas.faas&＃39;, &＃39;argInt&＃39;: 1}
detect: Apple
get response time : 413
Fruits Detected!!!

更多有趣案例请见

HaaS开发框架https://haas.iot.aliyun.com/solution