1、序言

HaaS 即 Hardware as a Service, 它是加速AIoT开发者创新的一个积木平台。

Python轻应用是跑在HaaS积木平台上的一套应用框架。他是基于MicroPython进行开发&＃xff0c;继承了python优美简介的语法&＃xff0c;同时提供了便捷的嵌入式硬件操作库。

HaaS100作为阿里云智能IoT团队推出的一款 IoT 开发板&＃xff0c;它适配了MicroPython的运行引擎, 提供了各种丰富的硬件操作接口&＃xff0c;同时提供阿里云物联网平台和云端AI相关的能力。

本文将介绍怎么基于Python轻应用框架, 来实现图像分类功能。

 

2、方案

2.1、总体思路

方案涉及主要涉及Minicv&＃xff0c;Alibaba Cloud SDK 等功能模块.

MiniCV 是一套轻量级视觉框架&＃xff0c;支持数据获取&＃xff0c;图像处理&＃xff0c;图像编解码&＃xff0c;视频编解码&＃xff0c;机器学习&＃xff0c;UI呈现。

Alibaba Cloud SDK是阿里达摩院视觉智能开放平台的端上的引覆盖人脸、人体、视频、文字等150&＃43;场景。

关于视觉视觉智能平台的详细信息可以参考官网&＃xff1a;https://vision.aliyun.com/

数据处理流程为&＃xff1a;

通过MiniCV模块&＃xff0c;完成数据源的封装处理&＃xff0c;图片的解码&＃xff0c;图片数据的格式转换和缩放等功能&＃xff0c;最后将处理好的数据喂给ML 模块&＃xff0c;ML 模块通过Alibaba Cloud SDK引擎和达摩院的视觉开放智能平台进行交互&＃xff0c;得到预期结果.

由于HaaS100的板子默认没有配置LCD, 所以为了方便开发者使用&＃xff0c;通过打印LOG 的方式将结果输出.

2.2、具备功能

检测图像中的物体。可识别90类物体&＃xff0c;例如&＃xff1a;人体、椅子、篮球、摩托车、旗帜、斑马等。

2.3、效果呈现

测试资源图片&＃xff1a;"/data/python-apps/ml/object-detect/res/test.jpg"

输出结果&＃xff1a;

3、图像分类技术介绍

3.1、常见机器视觉技术

图像分类、目标定位、目标检测、实例分割是机器视觉中最常用的技术&＃xff0c;其中&＃xff0c;图像分类技术是其他几种技术的基础。

3.2、常见图像分类算法介绍

• AlexNet(ILSVRC-2012)&＃xff1a;AlexNet 是LeNet的更深、更宽版本&＃xff0c;深度达到了8层。推动卷积神经网络的普及。AlexNet首次在CNN中成功应用了RELU、Dropout和LRN等激活函数
• ZF Net(ILSVRC-2013)&＃xff1a;是调整过架构超参数的AlexNet改进型。

• VGGNet(ILSVRC-2014亚军)&＃xff1a;展示了网络的深度是良好表现的关键因素&＃xff0c;VGG网络深度达到了19层。 自此&＃xff0c;深度学习模型的分类准确率已经达到了人类的水平(5%~10%)。
• GoogleNet(ILSVRC-2014)&＃xff1a;其主要贡献是研发了Inception Module&＃xff0c;大幅减少了网络中的参数数量&＃xff08;四百万&＃xff0c;相比AlexNet的六千万&＃xff09;&＃xff0c; Inception-v1同时也被称为googleNet&＃xff0c;在后续几年中&＃xff0c;google也相继提出了性能更好的Inception-v2和Inception-V3。

• ResNet(ILSVRC-2015) 引入在在训练时更容易收敛的残差网络&＃xff0c;网络深度达到了152&＃xff0c;更高的精度。
• Trimps-Soushen(ILSVRC-2016)&＃xff1a;以Top-5 2.99%的准确率获得冠军

• SENet(ILSVRC-2017)&＃xff1a;以Top-5 2.25%的准确率获得冠军 &＃xff0c;SENet的卷积操作融合了空间和特征通道信息。

3.2.1、ImageNet系列算法

从AlexNet到RestNet&＃xff0c;网络深度不断增加&＃xff0c;识别准确率得到了大幅提高&＃xff0c;下图是基于ImageNet数据集top5错误率

3.2.2、MobileNet

Google于2017年提出了更轻量的MobileNet-V1&＃xff0c;并在后续几年提出了性能更好的MobileNet-V2&＃xff0c; MobileNet-3&＃xff1b; MobileNet在目标检测、细粒度分类、人脸属性和大规模地理定位等方面都体现出了非常好的实践效果&＃xff0c;在详细介绍MobileNet之前&＃xff0c;先对比一下GoogleNet&＃xff0c;ResNet&＃xff0c;MobileNet的算力开销。

3.2.3、MobileNet-V1

创新点1&＃xff1a;使用深度可分离卷积&＃xff0c;在低精度损失情况下有效减少了参数数量和算力开销

• 设定DF为特征图尺寸&＃xff0c;DK为卷积核尺寸&＃xff0c;M为输入通道数&＃xff0c;N为输出通道数。
• 传统卷积计算量为&＃xff1a; DF∗DF∗DK∗DK∗M∗N

• 深度可分离卷积计算量为&＃xff1a; DK∗DK∗M∗DF∗DF&＃43;1∗1∗M∗N∗DF∗DF

创新点2&＃xff1a;使用了relu6作为激活函数

创新点3&＃xff1a;增加两个超参数&＃xff0c;称为Width Multiplier (α 超参数)和 Resolution Multiplier(ρ 超参数)

3.2.4、MobileNet-V2

• 创新点1&＃xff1a;引入了残差网络&＃xff0c;使得训练时候更容易收敛
• 创新点2&＃xff1a;在进行depthwise之前先进行1x1的卷积增加feature map的通道数&＃xff0c;实现feature maps的扩张&＃xff0c;提升了精度&＃xff0c;但是增加了一定的计算量。pointwise结束之后弃用RELU6激活函数&＃xff0c;改用Linear激活函数&＃xff0c;来防止RELU对特征的破坏

相对于MobileNet-V1 28层的网络深度&＃xff0c;MobileNet-V2的网络深度达到了54层&＃xff0c;延时也低了很多

3.2.5、MobileNet-V3

• 对V2输出层的改造&＃xff1a;
• 将平均池化层提前。在使用1×1卷积进行扩张后&＃xff0c;就紧接池化层-激活函数&＃xff0c;最后使用1×1的卷积进行输出&＃xff0c;通过这一改变&＃xff0c;能减少10ms的延迟&＃xff0c;提高了15%的运算速度&＃xff0c;且几乎没有任何精度损失。

准确率和计算速度都高于MobileNet-V2&＃xff0c;延时也不断下降

4、Demo体验

4.1、代码下载和编译

参考《HaaS100快速开始》下载&＃xff0c;编译&＃xff0c;烧录&＃xff0c;AliOS Things代码.(解决方案选择&＃xff1a;py_engine_demo)

烧录完成&＃xff0c;启动设备&＃xff0c;通过串口输入:

&＃xff08;命令中的 ssid password 是开发者自己工作环境的wifi 用户名和密码&＃xff09;

4.2、示例代码

4.3、设备端配置

4.3.1、账号注册

注册链接&＃xff1a;https://www.aliyun.com/

点击红色框圈中的“立即注册”按钮进行注册.

4.3.2、OSS参数获取

使用OSS功能的时候涉及到四个配置参数&＃xff1a;AccessKeyId&＃xff0c;AccessKeySecret&＃xff0c;Endpoint&＃xff0c;BucketName.

AccessKey 获取:

登录https://ram.console.aliyun.com/账号管理平台查看AccessKeyId&＃xff0c;AccessKeySecret(账号为上一节中注册的账号)

点击账号头像框中的"AccessKey管理"按钮.

点击按钮"查看Select",获取AccessKeyId&＃xff0c;AccessKeySecret

Bucket账号获取:

登陆OSS控制台https://oss.console.aliyun.com/创建Bucket&＃xff0c;创建时地域一定要选择上海

在Bucket创建好后&＃xff0c;从上图我们可以看到&＃xff1a;

Endpoint&＃xff1a;oss-cn-shanghai.aliyuncs.com

BucketName就是我们创建Bucket取的名字oss-ai-dev-one

4.3.3、Bucket文件夹创建

4.3.4、Bucket文件夹权限

创建好文件夹后&＃xff0c;记住一定要修改文件夹权限&＃xff0c;否则访问失败.

开发者技术支持

Python轻应用继承了Python易学易用的特点&＃xff0c;同时提供了基于嵌入式硬件的基础库封装&＃xff0c;让开发者可以很方便的通过交互式的环境&＃xff0c;实时进行嵌入式开发&＃xff0c;让嵌入式开发也变得简单方便。

如需更多技术支持&＃xff0c;可加入钉钉开发者群,获取一对一的技术支持&＃xff01;

更多技术与解决方案介绍&＃xff0c;请访问HaaS官网 https://haas.iot.aliyun.com/