HI3516DV300/HI3519AV100/HI3559AV100实现RTSP/RTMP视频流实时识别YOLOV3识别速度14帧/S

本教程是基于yolov3在硬件实现硬件的实时视频处理&＃xff01;
不是SAMPLE中的处理单张图片照片&＃xff01;
未采用opencv库&＃xff0c;数据处理全部采用硬件加速&＃xff01;
直接对摄像头数据直接进行图像识别&＃xff01;
HI3516 识别速度 10帧/S
HI3519 识别速度 14帧/S

教程目的&＃xff1a; 在硬件实现视频流实时识别&＃xff0c;将深度学习落地于实战项目中。

实现原理&＃xff1a;

1. VPSS 使用3路&＃xff0c;部分芯片VPSS CH0 不支持缩小&＃xff0c;为保证输出帧率&＃xff0c;保留第一路不使用。
2. VPSS CH1 当作 yolov3 的检测输入识别结果经过OVERLAY叠加到VENC中
3. VPSS CH2 实现720P视频输出&＃xff0c;经过RTSP/RTMP/VO 实时查看。
   
   一 YOLOV3 训练
   二 YOLOV3 格式转换
   a. 因为NNIE只支持CAFFE格式的转换&＃xff0c;所以先将weights 文件转换为caffe文件
   darknet2caffe cfg/yolov3.cfg weights/yolov3.weights prototxt/yolov3.prototxt caffemodel/yolov3.caffemodel
   b 将转换好的caffe文件生成 NNIE识别的WK文件
   先修改 yolov3-voc.prototxt 文件&＃xff0c;确保转换成功
   input: “data”
   input_shape {
   dim: 1
   dim: 3
   dim: 416
   dim: 416
   }
4. 修改转换 inst_yolov3.cfg

# yolov3-coco 80种分类
[prototxt_file] ./data/detection/yolov3-nnie/model/yolov3.prototxt
[caffemodel_file] ./data/detection/yolov3-nnie/model/yolov3.caffemodel
[instruction_name] ./data/detection/yolov3-nnie/inst_yolov3
[batch_num] 1
[net_type] 0
[sparse_rate] 0
# compile_mode 0 - 高速模式损失精度 1 - 高精度模式
[compile_mode] 0
[is_simulation] 0
[log_level] 2
[RGB_order] BGR
[data_scale] 0.0039062
[internal_stride] 16
[image_list] nnie_mapper/image_ref_list.txt
# 1 - SVP_BLOB_TYPE_U8 3 SVP_BLOB_TYPE_YUV420SP
[image_type] 1
# [image_type] 3
[mean_file] null
[norm_type] 3


./nnie_mapper/bin/nnie_mapper_12 ./nnie_mapper/yolov3_inst.cfg
三、系统划分

核心代码&＃xff1a;

1. 获取通道图像信息s32Ret &＃61; HI_MPI_VPSS_GetChnFrame(s32VpssGrp, as32VpssChn[1], &stExtFrmInfo, s32MilliSec);
2. 通过Yolov3输出识别s32Ret &＃61; SAMPLE_SVP_NNIE_Yolov3_Proc(pstParam,pstSwParam, &stExtFrmInfo,1280,720);
3. 将输出结果叠加到视频流中REGION_VENC_NNIE_DrawRect(0,&(pstSwParam->stRect),0xffff); // 绘制识别结果


三、测试结果

每秒14帧速率

具体实现过程以及最终源码