人工智能AI&＃xff1a;Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战&＃xff08;不定时更新&＃xff09;

2.4. cv.dnn

学习目标

• 了解OpenCV中DNN模块
• 知道DNN模块的常用API

OPenCV自3.3版本开始&＃xff0c;加入了对深度学习网络的支持&＃xff0c;即DNN模块&＃xff0c;它支持主流的深度学习框架生成与到处模型的加载。

1.DNN模块

1.1. 模块简介

OpenCV中的深度学习模块&＃xff08;DNN&＃xff09;只提供了推理功能&＃xff0c;不涉及模型的训练&＃xff0c;支持多种深度学习框架&＃xff0c;比如TensorFlow&＃xff0c;Caffe,Torch和Darknet。

OpenCV那为什么要实现深度学习模块&＃xff1f;

• 轻量型。DNN模块只实现了推理功能&＃xff0c;代码量及编译运行开销远小于其他深度学习模型框架。

• 使用方便。DNN模块提供了内建的CPU和GPU加速&＃xff0c;无需依赖第三方库&＃xff0c;若项目中之前使用了OpenCV&＃xff0c;那么通过DNN模块可以很方便的为原项目添加深度学习的能力。

• 通用性。DNN模块支持多种网络模型格式&＃xff0c;用户无需额外的进行网络模型的转换就可以直接使用&＃xff0c;支持的网络结构涵盖了常用的目标分类&＃xff0c;目标检测和图像分割的类别&＃xff0c;如下图所示&＃xff1a;

DNN模块支持多种类型网络层&＃xff0c;基本涵盖常见的网络运算需求。

• 也支持多种运算设备&＃xff08;CPU&＃xff0c;GPU等&＃xff09;和操作系统&＃xff08;Linux,windows,MacOS等&＃xff09;。

1.2.模块架构

DNN模块的架构如下图所示&＃xff1a;

从上往下依次是&＃xff1a;

• 第一层&＃xff1a;语言绑定层&＃xff0c;主要支持Python和Java&＃xff0c;还包括准确度测试、性能测试和部分示例程序。
• 第二层&＃xff1a;C&＃43;&＃43;的API层&＃xff0c;是原生的API&＃xff0c;功能主要包括加载网络模型、推理运算以及获取网络的输出等。
• 第三层&＃xff1a;实现层&＃xff0c;包括模型转换器、DNN引擎以及层实现等。模型转换器将各种网络模型格式转换为DNN模块的内部表示&＃xff0c;DNN引擎负责内部网络的组织和优化&＃xff0c;层实现指各种层运算的实现过程。
• 第四层&＃xff1a;加速层&＃xff0c;包括CPU加速、GPU加速、Halide加速和Intel推理引擎加速。CPU加速用到了SSE和AVX指令以及大量的多线程元语&＃xff0c;而OpenCL加速是针对GPU进行并行运算的加速。Halide是一个实验性的实现&＃xff0c;并且性能一般。Intel推理引擎加速需要安装OpenVINO库&＃xff0c;它可以实现在CPU、GPU和VPU上的加速&＃xff0c;在GPU上内部会调用clDNN库来做GPU上的加速&＃xff0c;在CPU上内部会调用MKL-DNN来做CPU加速&＃xff0c;而Movidius主要是在VPU上使用的专用库来进行加速。

除了上述的加速方法外&＃xff0c;DNN模块还有网络层面的优化。这种优化优化分两类&＃xff0c;一类是层融合&＃xff0c;还有一类是内存复用。

• 层融合

  层融合通过对网络结构的分析&＃xff0c;把多个层合并到一起&＃xff0c;从而降低网络复杂度和减少运算量。

如上图所示&＃xff0c;卷积层后面的BatchNorm层、Scale层和RelU层都被合并到了卷积层当中。这样一来&＃xff0c;四个层运算最终变成了一个层运算。

如上图所示&＃xff0c;网络结构将卷积层1和Eltwise Layer和RelU Layer合并成一个卷积层&＃xff0c;将卷积层2作为第一个卷积层新增的一个输入。这样一来&＃xff0c;原先的四个网络层变成了两个网络层运算。

• 如上图所示&＃xff0c;原始的网络结构把三个层的输出通过连接层连接之后输入到后续层&＃xff0c;这种情况可以把中间的连接层直接去掉&＃xff0c;将三个网络层输出直接接到第四层的输入上面&＃xff0c;这种网络结构多出现SSD类型的网络架构当中。

• 内存复用

  深度神经网络运算过程当中会占用非常大量的内存资源&＃xff0c;一部分是用来存储权重值&＃xff0c;另一部分是用来存储中间层的运算结果。我们考虑到网络运算是一层一层按顺序进行的&＃xff0c;因此后面的层可以复用前面的层分配的内存。

  下图是一个没有经过优化的内存重用的运行时的存储结构&＃xff0c;红色块代表的是分配出来的内存&＃xff0c;绿色块代表的是一个引用内存&＃xff0c;蓝色箭头代表的是引用方向。数据流是自下而上流动的&＃xff0c;层的计算顺序也是自下而上进行运算。每一层都会分配自己的输出内存&＃xff0c;这个输出被后续层引用为输入。

对内存复用也有两种方法&＃xff1a;

第一种内存复用的方法是输入内存复用。

如上图所示&＃xff0c;如果我们的层运算是一个in-place模式&＃xff0c;那么我们无须为输出分配内存&＃xff0c;直接把输出结果写到输入的内存当中即可。in-place模式指的是运算结果可以直接写回到输入而不影响其他位置的运算&＃xff0c;如每个像素点做一次Scale的运算。类似于in-place模式的情况&＃xff0c;就可以使用输入内存复用的方式。

第二种内存复用的方法是后续层复用前面层的输出。

• 如上图所示&＃xff0c;在这个例子中&＃xff0c;Layer3在运算时&＃xff0c;Layer1和Layer2已经完成了运算。此时&＃xff0c;Layer1的输出内存已经空闲下来&＃xff0c;因此&＃xff0c;Layer3不需要再分配自己的内存&＃xff0c;直接引用Layer1的输出内存即可。由于深度神经网络的层数可以非常多&＃xff0c;这种复用情景会大量的出现&＃xff0c;使用这种复用方式之后&＃xff0c;网络运算的内存占用量会下降30%~70%。

2.常用方法简介

DNN模块有很多可直接调用的Python API接口&＃xff0c;现将其介绍如下&＃xff1a;

2.1.dnn.blobFromImage

作用&＃xff1a;根据输入图像&＃xff0c;创建维度N&＃xff08;图片的个数&＃xff09;&＃xff0c;通道数C&＃xff0c;高H和宽W次序的blobs

原型&＃xff1a;

blobFromImage(image, scalefactor&＃61;None, size&＃61;None, mean&＃61;None, swapRB&＃61;None, crop&＃61;None, ddepth&＃61;None):

参数&＃xff1a;

• image:cv2.imread 读取的图片数据

• scalefactor: 缩放像素值&＃xff0c;如 [0, 255] - [0, 1]

• size: 输出blob(图像)的尺寸&＃xff0c;如 (netInWidth, netInHeight)
• mean: 从各通道减均值. 如果输入 image 为 BGR 次序&＃xff0c;且swapRB&＃61;True&＃xff0c;则通道次序为 (mean-R, mean-G, mean-B).
• swapRB: 交换 3 通道图片的第一个和最后一个通道&＃xff0c;如 BGR - RGB
• crop: 图像尺寸 resize 后是否裁剪. 如果crop&＃61;True&＃xff0c;则&＃xff0c;输入图片的尺寸调整resize后&＃xff0c;一个边对应与 size 的一个维度&＃xff0c;而另一个边的值大于等于 size 的另一个维度&＃xff1b;然后从 resize 后的图片中心进行 crop. 如果crop&＃61;False&＃xff0c;则无需 crop&＃xff0c;只需保持图片的长宽比
• ddepth: 输出 blob 的 Depth. 可选: CV_32F 或 CV_8U

示例&＃xff1a;

import cv2
from cv2 import dnn
import numpy as np
import matplotlib.pyplot as pltimg_cv2 &＃61; cv2.imread("test.jpeg?s=#34;)
print("原图像大小: ", img_cv2.shape)inWidth &＃61; 256
inHeight &＃61; 256
outBlob1 &＃61; cv2.dnn.blobFromImage(img_cv2,scalefactor&＃61;1.0 / 255,size&＃61;(inWidth, inHeight),mean&＃61;(0, 0, 0),swapRB&＃61;False,crop&＃61;False)
print("未裁剪输出: ", outBlob1.shape)
outimg1 &＃61; np.transpose(outBlob1[0], (1, 2, 0))outBlob2 &＃61; cv2.dnn.blobFromImage(img_cv2,scalefactor&＃61;1.0 / 255,size&＃61;(inWidth, inHeight),mean&＃61;(0, 0, 0),swapRB&＃61;False,crop&＃61;True)
print("裁剪输出: ", outBlob2.shape)
outimg2 &＃61; np.transpose(outBlob2[0], (1, 2, 0))plt.figure(figsize&＃61;[10, 10])
plt.subplot(1, 3, 1)
plt.title(&＃39;输入图像&＃39;, fontsize&＃61;16)
plt.imshow(cv2.cvtColor(img_cv2, cv2.COLOR_BGR2RGB))
plt.axis("off")
plt.subplot(1, 3, 2)
plt.title(&＃39;输出图像 - 未裁剪&＃39;, fontsize&＃61;16)
plt.imshow(cv2.cvtColor(outimg1, cv2.COLOR_BGR2RGB))
plt.axis("off")
plt.subplot(1, 3, 3)
plt.title(&＃39;输出图像 - 裁剪&＃39;, fontsize&＃61;16)
plt.imshow(cv2.cvtColor(outimg2, cv2.COLOR_BGR2RGB))
plt.axis("off")
plt.show()

输出结果为&＃xff1a;

另外一个API与上述API类似&＃xff0c;是进行批量图片处理的&＃xff0c;其原型如下所示&＃xff1a;

blobFromImages(images, scalefactor&＃61;None, size&＃61;None, mean&＃61;None, swapRB&＃61;None, crop&＃61;None, ddepth&＃61;None):

作用&＃xff1a;批量处理图片&＃xff0c;创建4维的blob&＃xff0c;其它参数类似于 dnn.blobFromImage。

2.2.dnn.NMSBoxes

作用&＃xff1a;根据给定的检测boxes和对应的scores进行NMS&＃xff08;非极大值抑制&＃xff09;处理

原型&＃xff1a;

NMSBoxes(bboxes, scores, score_threshold, nms_threshold, eta&＃61;None, top_k&＃61;None)

参数&＃xff1a;

• boxes: 待处理的边界框 bounding boxes
• scores: 对于于待处理边界框的 scores
• score_threshold: 用于过滤 boxes 的 score 阈值
• nms_threshold: NMS 用到的阈值
• indices: NMS 处理后所保留的边界框的索引值
• eta: 自适应阈值公式中的相关系数&＃xff1a;

• top_k: 如果 top_k>0&＃xff0c;则保留最多 top_k 个边界框索引值.

2.3. dnn.readNet

作用&＃xff1a;加载深度学习网络及其模型参数

原型&＃xff1a;

readNet(model, config&＃61;None, framework&＃61;None)


参数&＃xff1a;

• model: 训练的权重参数的模型二值文件&＃xff0c;支持的格式有&＃xff1a;*.caffemodel(Caffe)、*.pb(TensorFlow)、*.t7 或 *.net(Torch)、 *.weights(Darknet)、*.bin(DLDT).
• config: 包含网络配置的文本文件&＃xff0c;支持的格式有&＃xff1a;*.prototxt (Caffe)、*.pbtxt (TensorFlow)、*.cfg (Darknet)、*.xml (DLDT).
• framework: 所支持格式的框架名

该函数自动检测训练模型所采用的深度框架&＃xff0c;然后调用 readNetFromCaffe、readNetFromTensorflow、readNetFromTorch 或 readNetFromDarknet 中的某个函数完成深度学习网络模型及模型参数的加载。

下面我们看下对应于特定框架的API&＃xff1a;

1. Caffe

readNetFromCaffe(prototxt, caffeModel&＃61;None)


作用&＃xff1a;加载采用Caffe的配置网络和训练的权重参数


1. Darknet

   readNetFromDarknet(cfgFile, darknetModel&＃61;None)


   作用&＃xff1a;加载采用Darknet的配置网络和训练的权重参数

2. Tensorflow

   readNetFromTensorflow(model, config&＃61;None)


   作用&＃xff1a;加载采用Tensorflow 的配置网络和训练的权重参数

   参数&＃xff1a;

   • model: .pb 文件
   • config: .pbtxt 文件

3. Torch

   readNetFromTorch(model, isBinary&＃61;None)


   作用&＃xff1a;加载采用 Torch 的配置网络和训练的权重参数

   参数&＃xff1a;

   • model: 采用 torch.save()函数保存的文件

4. ONNX

   readNetFromONNX(onnxFile)


   作用&＃xff1a;加载 .onnx 模型网络配置参数和权重参数

总结

1. DNN模块是OPenCV中的深度学习模块

   优势&＃xff1a;轻量型&＃xff0c;方便&＃xff0c;通用性

   架构&＃xff1a;语言绑定层&＃xff0c;API层&＃xff0c;实现层&＃xff0c;加速层

   加速方法&＃xff1a;层融合、内存复用

2. 常用API

   • dnn.blobfromImage

     利用图片创建输入到模型中的blobs

   • dnn.NMSBoxes

     根据boxes和scores进行非极大值抑制

   • dnn.readNet

     加载网络模型和训练好的权重参数

"""
DNN模块有很多可直接调用的Python API接口&＃xff0c;现将其介绍如下&＃xff1a;dnn.blobFromImage作用&＃xff1a;根据输入图像&＃xff0c;创建维度N&＃xff08;图片的个数&＃xff09;&＃xff0c;通道数C&＃xff0c;高H和宽W次序的blobs原型&＃xff1a;blobFromImage(image, scalefactor&＃61;None, size&＃61;None, mean&＃61;None, swapRB&＃61;None, crop&＃61;None, ddepth&＃61;None):参数&＃xff1a;image:cv2.imread 读取的图片数据scalefactor: 缩放像素值&＃xff0c;如 [0, 255] - [0, 1]size: 输出blob(图像)的尺寸&＃xff0c;如 (netInWidth, netInHeight)mean: 从各通道减均值. 如果输入 image 为 BGR 次序&＃xff0c;且swapRB&＃61;True&＃xff0c;则通道次序为 (mean-R, mean-G, mean-B).swapRB: 交换 3 通道图片的第一个和最后一个通道&＃xff0c;如 BGR - RGBcrop: 图像尺寸 resize 后是否裁剪. 如果crop&＃61;True&＃xff0c;则&＃xff0c;输入图片的尺寸调整resize后&＃xff0c;一个边对应与 size 的一个维度&＃xff0c;而另一个边的值大于等于 size 的另一个维度&＃xff1b;然后从 resize 后的图片中心进行 crop. 如果crop&＃61;False&＃xff0c;则无需 crop&＃xff0c;只需保持图片的长宽比ddepth: 输出 blob 的 Depth. 可选: CV_32F 或 CV_8U另外一个API与上述API类似&＃xff0c;是进行批量图片处理的&＃xff0c;其原型如下所示&＃xff1a;blobFromImages(images, scalefactor&＃61;None, size&＃61;None, mean&＃61;None, swapRB&＃61;None, crop&＃61;None, ddepth&＃61;None):作用&＃xff1a;批量处理图片&＃xff0c;创建4维的blob&＃xff0c;其它参数类似于 dnn.blobFromImage。
"""
import cv2
from cv2 import dnn
import numpy as np
import matplotlib.pyplot as plt
from pylab import mpl
mpl.rcParams["font.sans-serif"] &＃61; ["SimHei"] #支持中文显示
mpl.rcParams["axes.unicode_minus"] &＃61; Falseimg_cv2 &＃61; cv2.imread("MM.png")
print("原图像大小: ", img_cv2.shape)inWidth &＃61; 256
inHeight &＃61; 256
outBlob1 &＃61; cv2.dnn.blobFromImage(img_cv2,scalefactor&＃61;1.0 / 255,size&＃61;(inWidth, inHeight),mean&＃61;(0, 0, 0),swapRB&＃61;False,crop&＃61;False)
print("未裁剪输出: ", outBlob1.shape)
#(1, 2, 0)中 1指高&＃xff0c;2指宽&＃xff0c;0指通道
outimg1 &＃61; np.transpose(outBlob1[0], (1, 2, 0))outBlob2 &＃61; cv2.dnn.blobFromImage(img_cv2,scalefactor&＃61;1.0 / 255,size&＃61;(inWidth, inHeight),mean&＃61;(0, 0, 0),swapRB&＃61;False,crop&＃61;True)
print("裁剪输出: ", outBlob2.shape)
#(1, 2, 0)中 1指高&＃xff0c;2指宽&＃xff0c;0指通道
outimg2 &＃61; np.transpose(outBlob2[0], (1, 2, 0))plt.figure(figsize&＃61;[10, 10])
plt.subplot(1, 3, 1)
plt.title(&＃39;输入图像&＃39;, fontsize&＃61;16)
plt.imshow(cv2.cvtColor(img_cv2, cv2.COLOR_BGR2RGB))
plt.axis("off")
plt.subplot(1, 3, 2)
plt.title(&＃39;输出图像 - 未裁剪&＃39;, fontsize&＃61;16)
plt.imshow(cv2.cvtColor(outimg1, cv2.COLOR_BGR2RGB))
plt.axis("off")
plt.subplot(1, 3, 3)
plt.title(&＃39;输出图像 - 裁剪&＃39;, fontsize&＃61;16)
plt.imshow(cv2.cvtColor(outimg2, cv2.COLOR_BGR2RGB))
plt.axis("off")
plt.show()"""
dnn.NMSBoxes作用&＃xff1a;根据给定的检测boxes和对应的scores进行NMS&＃xff08;非极大值抑制&＃xff09;处理原型&＃xff1a;NMSBoxes(bboxes, scores, score_threshold, nms_threshold, eta&＃61;None, top_k&＃61;None)参数&＃xff1a;boxes: 待处理的边界框 bounding boxesscores: 对于于待处理边界框的 scoresscore_threshold: 用于过滤 boxes 的 score 阈值nms_threshold: NMS 用到的阈值indices: NMS 处理后所保留的边界框的索引值eta: 自适应阈值公式中的相关系数&＃xff1a;nms_threshold i&＃43;1 &＃61; eta * nms_threshold itop_k: 如果 top_k>0&＃xff0c;则保留最多 top_k 个边界框索引值.
"""
"""
dnn.readNet作用&＃xff1a;加载深度学习网络及其模型参数原型&＃xff1a;readNet(model, config&＃61;None, framework&＃61;None)参数&＃xff1a;model: 训练的权重参数的模型二值文件&＃xff0c;支持的格式有&＃xff1a;*.caffemodel(Caffe)、*.pb(TensorFlow)、*.t7 或 *.net(Torch)、*.weights(Darknet)、*.bin(DLDT).config: 包含网络配置的文本文件&＃xff0c;支持的格式有&＃xff1a;*.prototxt (Caffe)、*.pbtxt (TensorFlow)、*.cfg (Darknet)、*.xml (DLDT).framework: 所支持格式的框架名该函数自动检测训练模型所采用的深度框架&＃xff0c;然后调用 readNetFromCaffe、readNetFromTensorflow、readNetFromTorch 或 readNetFromDarknet 中的某个函数完成深度学习网络模型及模型参数的加载。下面我们看下对应于特定框架的API&＃xff1a;CaffereadNetFromCaffe(prototxt, caffeModel&＃61;None)作用&＃xff1a;加载采用Caffe的配置网络和训练的权重参数DarknetreadNetFromDarknet(cfgFile, darknetModel&＃61;None)作用&＃xff1a;加载采用Darknet的配置网络和训练的权重参数TensorflowreadNetFromTensorflow(model, config&＃61;None)作用&＃xff1a;加载采用Tensorflow 的配置网络和训练的权重参数参数&＃xff1a;model: .pb 文件config: .pbtxt 文件TorchreadNetFromTorch(model, isBinary&＃61;None)作用&＃xff1a;加载采用 Torch 的配置网络和训练的权重参数参数&＃xff1a;model: 采用 torch.save()函数保存的文件ONNXreadNetFromONNX(onnxFile)作用&＃xff1a;加载 .onnx 模型网络配置参数和权重参数
"""

In [1]:

import cv2 as cv

from cv2 import dnn

import numpy as np

import matplotlib.pyplot as plt

In [2]:

img &＃61; cv.imread("test.jpeg?s=#34;)

print("原始图像大小:",img.shape)

原始图像大小: (960, 640, 3)


In [3]:

plt.figure()

plt.imshow(img[:,:,::-1])

Out[3]:

In [6]:

inweight &＃61; 256

inHeight &＃61; 256

outblob1 &＃61; dnn.blobFromImage(img,scalefactor&＃61;1.0/255,size&＃61;(inweight,inHeight),mean&＃61;(0,0,0),swapRB &＃61; False,crop&＃61;False)

outblob1.shape

Out[6]:

(1, 3, 256, 256)

In [7]:

outimg1 &＃61; np.transpose(outblob1[0],(1,2,0))

In [8]:

plt.figure()

plt.imshow(outimg1[:,:,::-1])

Out[8]:

In [9]:

outblob2 &＃61; dnn.blobFromImage(img,scalefactor &＃61; 1.0/255,size&＃61;(inweight,inHeight),mean&＃61;(0,0,0),swapRB&＃61;False,crop&＃61;True)

In [10]:

outblob2.shape

Out[10]:

(1, 3, 256, 256)

In [11]:

outimg2 &＃61; np.transpose(outblob2[0],(1,2,0))

In [12]:

plt.figure()

plt.imshow(outimg2[:,:,::-1])

Out[12]: