EdgeAI即常说的边缘智能&＃xff0c;边缘智能包含两大核心功能&＃xff1a;

1. 边缘负责将现实世界的各种物理量数字化&＃xff0c;然后整合数据&＃xff0c;然后跟云端双向通信&＃xff0c;例如&＃xff0c;将温度、压力、位置等数字化后&＃xff0c;整合信息上传并获得下行的命令
2. 智能负责从原始的数据中抽取出有用的信息&＃xff0c;例如&＃xff0c;物体在视频中的位置和类别

边缘智能应用程序中常见的模块是EdgeX Foundry和OpenVINOTM工具包&＃xff1a;

1. EdgeX Foundry负责从边缘处的传感器&＃xff08;即“物”物&＃xff09;收集数据&＃xff0c;并作为双向传输引擎向企业、云和本地应用发送数据&＃xff0c;以及从这些应用接收数据。
2. OpenVINOTM工具包负责在边缘端实现AI模型的推理计算&＃xff0c;获得推理结果

EdgeX Foundry与OpenVINOTM工具包共同实现边缘智能的典型框架&＃xff0c;如图1-1所示。

图1-1  边缘智能应用程序典型框架

1.1.1 EdgeX Foundry简介

EdgeX Foundry是LF Edge旗下的一款开源、不受供应商限制的边缘物联网中间件平台&＃xff0c;负责从边缘处的传感器&＃xff08;即“物”物&＃xff09;收集数据&＃xff0c;并作为双向传输引擎向企业、云和本地应用发送数据&＃xff0c;以及从这些应用接收数据&＃xff0c;如图1-2所示。

图1-2  EdgeX Foundry

在边缘智能应用中使用EdgeX Foundry的好处&＃xff1a;

1. EdgeX为设备数据引入、规范化及边缘智能 (AI/ML)提供可替换的参考服务
2. EdgeX共享支持新型物联网数据服务和高级边缘计算应用
3. EdgeX能加快完整边缘解决方案和/或边缘硬件解决方案的上市速度

1.1.2OpenVINOTM 2022.1简介

OpenVINO™ 工具包开源且商用免费&＃xff0c;用于深度学习模型优化和部署&＃xff0c;如图1-3所示。z

 图1-3  OpenVINO™ 工具包

OpenVINO™ 工具包2022.1版于2022年3月22日正式发布&＃xff0c;根据官宣《OpenVINO™ 迎来迄今为止最重大更新&＃xff0c;2022.1新特性抢先看》&＃xff0c;OpenVINO™ 2022.1将是迄今为止最大变化的版本。

从开发者的角度来看&＃xff0c;对于提升开发效率或运行效率有用的特性有&＃xff1a;

1. 提供预处理API函数。OpenVINO™ 2022.1之前版本不提供OpenVINO runtime原生的用于数据预处理的API函数&＃xff0c;开发者必须通过第三方库&＃xff0c;比如&＃xff0c;OpenCV&＃xff0c;来实现数据预处理。OpenVINO™ 2022.1自带的预处理API可以将所有预处理步骤都集成到在执行图中&＃xff0c;这样iGPU、CPU、VPU 或今后Intel的独立显卡都能进行数据预处理&＃xff0c;大大提高了执行效率&＃xff1b;相比之前&＃xff0c;用OpenCV实现的预处理&＃xff0c;则只能在CPU上执行&＃xff0c;如图1-3所示。

 图1-4  OpenVINO预处理API

1. ONNX前端API。前端API意味着模型可以直接被OpenVINO读入&＃xff0c;而无需使用模型优化器进行模型转换&＃xff0c;这对于使用 ONNX 模型的开发人员非常有用。OpenVINO™ 2022.1自动转换ONNX模型的速度(1.5秒以内)相比之前版本&＃xff0c;有极大提升&＃xff0c;开发人员已经感受不到ONNX模型自动转换的时间消耗了。
2. AUTO 设备插件。AUTO设备插件自动将AI推理计算加载到最合适的硬件设备上(CPU, GPU, VPU等)&＃xff0c;无需额外的开发工作即可提高模型在异构系统中(例如&＃xff1a;12代CPU &＃43; Iris Xe 集成显卡 &＃43; DG2 独显) 的推理性能和可移植性。
3. 支持直接读入飞桨模型&＃xff0c;如图1-4所示。

 图1-5  OpenVINOTM支持的深度学习框架

为实现将OpenVINO™推理结果通过MQTT推送给EdgeX Foundry&＃xff0c;本文将依次介绍&＃xff1a;

1. 使用 OpenVINO™ 开发YOLOv5模型推理程序
2. 运行带ds-mqtt的EdgeX Foundry
3. 在EdgeX UI中新建MQTT Device
4. 将OpenVINO™推理结果推送给MQTT Broker
    

1.2使用 OpenVINO™ 开发YOLOv5模型推理程序

1.2.1YOLOv5简介

Ultralytics公司贡献的YOLOv5 PyTorch (https://github.com/ultralytics/yolov5)实现版&＃xff0c;由于其工程化和文档做的特别好&＃xff0c;深受广大AI开发者的喜爱&＃xff0c;GitHub上的星标超过了23.8K&＃xff0c;而且被PyTorch官方收录于PyTorch的官方模型仓。在产业实践中&＃xff0c;也有无数的开发者将YOLOv5直接用于自己的项目。

 

由于YOLOv5精度高速度快(最新的YOLOv5模型精度如下所示)&＃xff0c;使得产业界里面使用YOLOv5模型做产品和项目的人非常多。

 

另外&＃xff0c;YOLOv5的工程化和文档化做的极好&＃xff0c;没有任何基础的人&＃xff0c;都可以在不到半天的时间内完成YOLOv5的开发环境搭建、模型训练、ONNX模型导出。

YOLOv5的文档链接&＃xff1a;YOLOv5 Documentation

1.2.2安装YOLOv5的OpenVINO™推理程序开发环境

要完成YOLOv5的OpenVINO™推理程序开发&＃xff0c;需要安装&＃xff1a;YOLOv5 &＃43; openvino-dev。

由于YOLOv5的工程化做的实在太好&＃xff0c;在Windows10中安装上述环境&＃xff0c;只需要两步。

1. 第一步&＃xff1a; git clone GitHub - ultralytics/yolov5: YOLOv5 &＃x1f680; in PyTorch > ONNX > CoreML > TFLite
2. 第二步&＃xff1a;在yolov5文件夹中&＃xff0c;修改requirements.txt文件的25、30、34和35行如下所示。

然后使用命令&＃xff1a;

pip install -r requirements.txt

完成开发环境安装&＃xff0c;如图1-6所示。

 图1-6  安装YOLOv5和OpenVINOTM开发环境

1.2.3导出YOLOv5 ONNX模型

在yolov5文件夹下&＃xff0c;使用命令

python export.py --weights yolov5s.pt --include onnx

完成yolov5s.onnx模型导出&＃xff0c;如图1-7所示。

 图1-7  导出YOLOv5s.onnx

1.2.4用Netron工具查看YOLOv5s.onnx的输入和输出

     使用Netron&＃xff0c;查看YOLOv5s.onnx模型的输入和输出&＃xff0c;如图1-8所示。

图1-8  查看YOLOv5s模型输入输出

从图中可以看出&＃xff1a;YOLOv5 6.1版本之后&＃xff0c;直接导出的ONNX格式模型会多出一个output层&＃xff0c;这个output已经完全整合了之前三层的原始输出&＃xff0c;再也不需要搞anchor的比率跟重新写解析后处理了&＃xff0c;output出来每一行85个数值&＃xff0c;前面5个数值分别是&＃xff1a;

cx, cy, w, h, score, 后面80个参数是MSCOCO的分类得分

1.2.5开发YOLOv5的OpenVINO™推理程序

使用OpenVINO™ 2022.1开发推理程序的典型步骤如下所示&＃xff0c;从图1-9中可见&＃xff0c;三行 OpenVINO API函数可以完成YOLOv5s.onnx模型的推理。

 图1-9  OpenVINOTM推理程序开发步骤

完整范例程序如下&＃xff1a;

# Do the inference by OpenVINO2022.1from pyexpat import modelimport cv2import numpy as npimport timeimport yamlfrom openvino.runtime import Core  # the version of openvino >&＃61; 2022.1# 载入COCO Labelwith open(&＃39;./coco.yaml&＃39;,&＃39;r&＃39;, encoding&＃61;&＃39;utf-8&＃39;) as f:result &＃61; yaml.load(f.read(),Loader&＃61;yaml.FullLoader)class_list &＃61; result[&＃39;names&＃39;]# YOLOv5s输入尺寸INPUT_WIDTH &＃61; 640INPUT_HEIGHT &＃61; 640# 目标检测函数&＃xff0c;返回检测结果def detect(image, net):blob &＃61; cv2.dnn.blobFromImage(image, 1 / 255.0, (INPUT_WIDTH, INPUT_HEIGHT), swapRB&＃61;True, crop&＃61;False)preds &＃61; net([blob])[next(iter(net.outputs))] # API version>&＃61;2022.1return preds# YOLOv5的后处理函数&＃xff0c;解析模型的输出def wrap_detection(input_image, output_data):class_ids &＃61; []confidences &＃61; []boxes &＃61; []#print(output_data.shape)rows &＃61; output_data.shape[0]image_width, image_height, _ &＃61; input_image.shapex_factor &＃61; image_width / INPUT_WIDTHy_factor &＃61; image_height / INPUT_HEIGHTfor r in range(rows):row &＃61; output_data[r]confidence &＃61; row[4]if confidence >&＃61; 0.4:classes_scores &＃61; row[5:]_, _, _, max_indx &＃61; cv2.minMaxLoc(classes_scores)class_id &＃61; max_indx[1]if (classes_scores[class_id] > .25):confidences.append(confidence)class_ids.append(class_id)x, y, w, h &＃61; row[0].item(), row[1].item(), row[2].item(), row[3].item()left &＃61; int((x - 0.5 * w) * x_factor)top &＃61; int((y - 0.5 * h) * y_factor)width &＃61; int(w * x_factor)height &＃61; int(h * y_factor)box &＃61; np.array([left, top, width, height])boxes.append(box)indexes &＃61; cv2.dnn.NMSBoxes(boxes, confidences, 0.25, 0.45)result_class_ids &＃61; []result_confidences &＃61; []result_boxes &＃61; []for i in indexes:result_confidences.append(confidences[i])result_class_ids.append(class_ids[i])result_boxes.append(boxes[i])return result_class_ids, result_confidences, result_boxes# 按照YOLOv5 letterbox Resize要求&＃xff0c;先将图像长:宽 &＃61; 1:1&＃xff0c;多余部分填充黑边def format_yolov5(frame):row, col, _ &＃61; frame.shape_max &＃61; max(col, row)result &＃61; np.zeros((_max, _max, 3), np.uint8)result[0:row, 0:col] &＃61; framereturn result# 载入yolov5s onnx模型model_path &＃61; "./yolov5s.onnx"ie &＃61; Core() #Initialize Core version>&＃61;2022.1net &＃61; ie.compile_model(model&＃61;model_path, device_name&＃61;"AUTO")# 开启Webcam&＃xff0c;并设置为1280x720cap &＃61; cv2.VideoCapture(0)# 调色板colors &＃61; [(255, 255, 0), (0, 255, 0), (0, 255, 255), (255, 0, 0)]# 开启检测循环while True:start &＃61; time.time()_, frame &＃61; cap.read()if frame is None:print("End of stream")break# 将图像按最大边1:1放缩inputImage &＃61; format_yolov5(frame)# 执行推理计算outs &＃61; detect(inputImage, net)# 拆解推理结果class_ids, confidences, boxes &＃61; wrap_detection(inputImage, outs[0])# 显示检测框bboxfor (classid, confidence, box) in zip(class_ids, confidences, boxes):color &＃61; colors[int(classid) % len(colors)]cv2.rectangle(frame, box, color, 2)cv2.rectangle(frame, (box[0], box[1] - 20), (box[0] &＃43; box[2], box[1]), color, -1)cv2.putText(frame, class_list[classid], (box[0], box[1] - 10), cv2.FONT_HERSHEY_SIMPLEX, .5, (0, 0, 0))# 显示推理速度FPSend &＃61; time.time()inf_end &＃61; end - startfps &＃61; 1 / inf_endfps_label &＃61; "FPS: %.2f" % fpscv2.putText(frame, fps_label, (10, 25), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)print(fps_label&＃43; "; Detections: " &＃43; str(len(class_ids)))cv2.imshow("output", frame)if cv2.waitKey(1) > -1:print("finished by user")break

上述范例程序下载链接&＃xff1a;infer_by_openvino2022.py · PPOV_NUC/yolov5_infer - Gitee.com

运行效果如下所示&＃xff1a;

 到此&＃xff0c;完成了使用 OpenVINO™ 开发YOLOv5模型推理程。

1.3运行带ds-mqtt的EdgeX Foundry

首先&＃xff0c;请安装好docker和docker-compose。本文的运行环境是&＃xff1a;Ubuntu20.04.4 LTS

&＃43; Intel® i5-1135G7。

然后&＃xff0c;请克隆edgex-compose代码仓到本地&＃xff0c;使用命令&＃xff1a;

git clone https://github.com/edgexfoundry/edgex-compose.git

运行结果&＃xff0c;如图1-10所示。

 图1-10  克隆edgex-compose代码仓

接着&＃xff0c;在compose-builder目录下运行命令&＃xff1a;

make gen no-secty ds-mqtt mqtt-broker

生成edgex 的docker compose文件&＃xff0c;如图1-11所示。

 图1-11  生成docker compose文件

最后&＃xff0c;在compose-builder目录下运行命令&＃xff1a;

docker-compose up -d

启动带有MQTT Broker的EdgeX Foundry&＃xff0c;如图1-12所示。

 图1-12 启动带有MQTT Broker的EdgeX Foundry

到此&＃xff0c;成功启动带有MQTT Broker的EdgeX Foundry。

1.4在EdgeX UI中新建MQTT Device

为了简化MQTT device profile的编写过程&＃xff0c;请先克隆张华乔老师的mock-device-driver代码仓到本地&＃xff0c;使用命令&＃xff1a;

git clone https://github.com/badboy-huaqiao/mock-device-driver.git

1.4.1添加device profile

第一步&＃xff0c;启动EdgeX UI。EdgeX UI是一个图形化的EdgeX 管理工具&＃xff0c;在浏览器中&＃xff0c;输入localhost:4000; 然后在Device Profile中&＃xff0c;点击“Add”按钮&＃xff0c;如图1-13所示。

 图1-13  启动EdgeX UI

第二步&＃xff0c;在mock-device-driver/jakarta-v2.1.0文件夹下&＃xff0c;有一个test-mqtt-profile.yml文件&＃xff0c;请将该文件拖入“Add Profile”框&＃xff0c;然后点“Submit”按钮&＃xff0c;完成mqtt device profile的添加&＃xff0c;如图1-14所示。

 图1-14  添加test-mqtt-profile.yml文件

1.4.2新增一个名为“edgex_ov”的设备

第一步&＃xff0c;在“Device”页面&＃xff0c;点击“Add”按钮&＃xff0c;如图1-15所示。

 图1-15  点击“Add”按钮

第二步&＃xff0c;勾选“device-mqtt”&＃xff0c;并按“Next”按钮&＃xff0c;如图1-16所示。

 图1-16  勾选“device-mqtt”

第三步&＃xff0c;勾选“Test-Device-MQTT-Profile-VMware”&＃xff0c;并按“Next”按钮&＃xff0c;如图1-17所示。

 图1-17  勾选“Test-Device-MQTT-Profile-VMware”

第四步&＃xff0c;填写“Name”和“Description”&＃xff0c;并按“Next”按钮&＃xff0c;如所示。

 图1-18  填写“Name”和“Description”

第五步&＃xff0c;在“Add More AutoEvent”页面&＃xff0c;按“Skip”按钮&＃xff0c;跳过该设置。

第六步&＃xff0c;在“CreateDeviceProtocol”页面&＃xff0c;填写Protocol信息&＃xff0c;然后按“Submit”按钮&＃xff0c;完成名为“edgex_ov”的MQTT设备添加&＃xff0c;如图1-19和图1-20所示。

1. Protocol Name: device-mqtt
2. Schema&＃xff1a;tcp
3. Host&＃xff1a;0.0.0.0
4. Port&＃xff1a;1883
5. User&＃xff1a;huaqiaoz
6. Password&＃xff1a;1234
7. ClientId: 123
8. CommandTopic: CommandTopic

 图1-19  填写Protocol信息

 图1-20  成功添加名为”edgex_ov”的MQTT设备

1.4.3运行mock-device-for-mqtt.py测试添加的设备