人脸检测pyqt+opencv+dlib

一、实验目标

绘制PyQT界面&＃xff0c;调用摄像头显示人脸信息。在界面中&＃xff0c;用户通过点击不同的按键可以实现多种功能&＃xff1a;打开和关闭摄像头&＃xff0c;用方框框出人脸实现人脸的检测&＃xff0c;绘制出人脸的特征点&＃xff08;包括眼睛&＃xff0c;鼻子和嘴巴&＃xff09;&＃xff0c;最后将检测结果截图保存。

二、环境搭建

Pycharm&＃43;Anaconda3&＃43; PyQt5&＃43;Opencv&＃43;Dlib

三、实验成果

本项目在完成最初设计目标的同时&＃xff0c;还扩展增加了一些其他的功能。可实现的功能如下所示。

1.打开、关闭摄像头
2.调用摄像头进行人脸检测和特征点绘制
3.保存人脸检测截图
4.录制、保存视频
5.加载本地视频进行检测
6.加载本地图片进行检测
7.抓拍人脸
8.实时显示程序的运行状态
9.安全退出

四、实验方法

4.1 图形界面

PYQT是一个创建GUI应用程序的工具包&＃xff0c;它是QT库的Python版本。使用PyQt5工具可以快速地实现简单的界面开发&＃xff0c;包括界面设计、布局管理以及业务逻辑实现&＃xff08;信号与槽&＃xff09;。

因此&＃xff0c;本设计首先在pycharm中导入PyQt5库&＃xff0c;接着通过第三方工具打开QT Desiger绘制好人脸检测的图形界面&＃xff0c;然后通过PyGUI将保存好的ui文件转化成python代码&＃xff0c;方便后续python代码嵌入到PyQt5中。

4.1.1界面布局

本设计的总布局采用垂直布局&＃xff0c;4个单元布局从上到下垂直排列。单元布局包括相机按键布局、视频图片按键布局、显示布局和文本提示布局&＃xff0c;各单元布局的内部控件均采用水平布局的方式。相机按键布局内部包括打开相机检测按键、录制视频按键、抓拍人脸按键和退出界面按键&＃xff1b;视频图片按键布局中包括打开视频并检测按键、打开图片并检测按键&＃xff1b;显示布局中仅有一个用来显示图片和视频的640*480的Label&＃xff1b;文本提示布局中包含“当前状态”的label&＃xff0c;和一个输出当前状态的textedit。

4.1.2 信号与槽函数

点击不同按键要实现不同功能&＃xff0c;pyqt中使用信号与槽函数来实现按键操作与功能的连接。为实现设计目标中的功能&＃xff0c;编写了6个槽函数。本设计的信号和槽函数的对应关系如下表1所示。

表1 信号和槽函数的对应关系表信号 槽函数打开相机并检测按键&＃xff08;clicked&＃xff09; 启动摄像头和定时器&＃xff08;button_open_camera_clicked&＃xff09;定时器结束&＃xff08;timeout&＃xff09; 人脸检测和特征点绘制&＃xff08;show_camera&＃xff09;录制视频按键&＃xff08;clicked&＃xff09; 保存视频到本地&＃xff08;_savevideo&＃xff09;抓拍人脸按键&＃xff08;clicked&＃xff09; 拍摄照片到本地&＃xff08;_takephoto&＃xff09;退出界面按键&＃xff08;clicked&＃xff09; 退出界面&＃xff08;_takephoto&＃xff09;打开视频并检测按键&＃xff08;clicked&＃xff09; 打开本地视频检测&＃xff08;_openvideo&＃xff09;打开图片并检测按键&＃xff08;clicked&＃xff09; 打开本地图片检测&＃xff08;openimage&＃xff09;


4.2人脸检测

在Python中0pencv这个库功能是非常强大的&＃xff0c;可以调用本地摄像头&＃xff0c;并且可以使用不同分类器对人脸进行识别。Opencv中已经包含了很多已经训练好的分类器&＃xff0c;其中包括面部&＃xff0c;眼睛&＃xff0c;微笑&＃xff0c;鼻子和嘴巴等&＃xff0c;这些分类器分别保存在不同的XML文件中。

本设计就是使用Opencv中自带的训练器和检测器进行人脸的检测&＃xff0c;即在Opencv中使用HaarCascade的xml分类器。Haar级联分类器通过分析对比相邻图像区域来判断给定图像或者图像区域与已知对象是否匹配。Haar特征值反映了图像的灰度变化情况。例如&＃xff1a;脸部的一些特征能由矩形特征简单的描述&＃xff0c;眼睛要比脸颊颜色要深&＃xff0c;鼻梁两侧比鼻梁颜色要深&＃xff0c;嘴巴比周围颜色要深等。利用opencv里训练好的haar特征的xml文件&＃xff0c;在图片上检测出人脸的坐标&＃xff0c;利用这个坐标&＃xff0c;我们可以将人脸区域剪切保存&＃xff0c;也可以在原图上将人脸框出。

在本设计中使用该分类器的优点是简单易操作&＃xff0c;缺点是在光线暗、脸部特征不明显等时候检测精度还有待提高。人脸和特征点的检测的过程分为以下几部分。

&＃xff08;1&＃xff09;调用摄像头&＃xff0c;不断获取图像。

使用Opencv的VideoCapture(CAM_NUM) 调用视频。若CAM_NUM为0&＃xff0c;则直接调用电脑的摄像头&＃xff1b;参数是视频文件路径则打开视频。如果打开成功&＃xff0c;则设置定时器的每次计时30ms,即每过30ms从摄像头中取一帧显示&＃xff1b;反之&＃xff0c;关闭定时器&＃xff0c;释放视频流&＃xff0c;并清空视频显示区域。为提高检测的效率&＃xff0c;使用cv.cvtColor()对图片进行灰度处理。

&＃xff08;2&＃xff09;调用人脸分类器进行检测。

haarcascade_frontalface_default.xml文件是opencv中已经训练好的默认人脸检测器。如果在图像中检测到人脸&＃xff0c;会以Rect(x,y,w,h)的形式返回脸部的位置&＃xff0c;其中&＃xff0c;(x、y)为人脸的左上角坐标&＃xff0c;h和w分别为人脸的长和宽&＃xff0c;从而使用一个矩形网格标识人脸。

&＃xff08;3&＃xff09;截图保存人脸。在每次检测到人脸以后&＃xff0c;使用opencv的imwrite函数保存人脸&＃xff1b;设置了人脸图片的最大限&＃xff0c;如果检测到的人脸图片数量达到了设定值&＃xff0c;或者用户按了停止检测的按键&＃xff0c;检测结束程序退出。此外&＃xff0c;为保证保存的人脸图像的独一性&＃xff0c;本设计使用时间来给图像命名。引入time库&＃xff0c;并设置时间的显示格式为%Y-%m-%d-%H-%M-%S。

&＃xff08;4&＃xff09;若检测到用户点击停止检测按键&＃xff0c;关闭摄像头关闭&＃xff0c;清空显示图像的label。

4.3人脸特征点绘制

本设计的人脸特征点的绘制步骤和人脸检测相似&＃xff0c;只是首先调用 Dlib 库来进行人脸识别&＃xff0c;然后再使用预测器 “shape_predictor_68_face_landmarks.dat”
进行68点标定&＃xff0c;存入 68个点坐标&＃xff1b;再使用cv2.circle 来画 68 个点&＃xff1b;然后利用 cv2.putText() 函数来画数字 1-68&＃xff1b;最后&＃xff0c;通过Qlabel去呈现图像。

在用PyQt5开发GUI界面的时候&＃xff0c;常用的呈现图像的方法有两种&＃xff0c;第一种是通过Qlabel去呈现&＃xff0c;另一种是通过QGraphicsView去呈现。Qlabel呈现的方式简单易于理解&＃xff0c;本文选择第一种方法呈现图像&＃xff0c;将人脸检测和特征点绘制的结果统一显示在界面上。另外&＃xff0c;因为Qlabel不能直接显示img类型&＃xff0c;需要使用函数QtGui.QImage()将其转换为QImage类型&＃xff0c;再使用QtGui.setPixmap()添加到label中显示。

4.4 视频的录制、保存和加载

录制和保存视频&＃xff1a;首先&＃xff0c;使用cv2.VideoCapture(0)打开本机摄像头。接下来&＃xff0c;只要摄像头没关闭&＃xff0c;就一直使用cv2.VideoWriter()创建视频流写入对象&＃xff0c;其中使用cv2.VideoWriter_fourcc(*’XVID’)设置视频的编码类型&＃xff0c;本设计选择的是MPEG-4编码类型。为提高下面检测的准确性&＃xff0c;使用flip()函数对图像进行了反转起到数据增强的效果。最后&＃xff0c;检测到按键1被按下时&＃xff0c;结束录制&＃xff0c;保存视频到当前目录。

加载视频&＃xff1a;使用QtWidgets中的QFileDialog.getOpenFileName()函数&＃xff0c;读取用户手动打开的视频&＃xff0c;将此函数的返回值视频路径名称imgName直接赋给Opencv的VideoCapture(CAM_NUM)中的CAM_NUM。因为此时CAM_NUM为视频的路径&＃xff0c;使用VideoCapture(CAM_NUM)可以打开视频。下面调用人脸检测和人脸特征点绘制的函数&＃xff0c;就可以完成视频的检测了。

4.5 图片的拍摄、保存和加载

拍摄和保存图片&＃xff1a;首先导入time库&＃xff0c;设置time显示时间的格式为%Y-%m-%d
-%H-%M-%S&＃xff0c;以时间为拍摄的照片命名&＃xff0c;可有效地提高图片的独一性。然后&＃xff0c;打开相机&＃xff0c;从视频流中提取一帧&＃xff0c;使用cv2.cvtColor()将图片变成RGB格式。一方面&＃xff0c;使用Qlabel的形式将图片显示在界面上&＃xff0c;另一方面&＃xff0c;使用opencv的imwrite()函数保存图片到本地。
加载图片&＃xff1a;使用QtWidgets中的QFileDialog.getOpenFileName()函数&＃xff0c;读取用户手动打开的图片&＃xff0c;将此函数的返回值图片名称imgName&＃xff0c;赋给opencv的imread()加载图片。要想对该图片进行检测&＃xff0c;紧跟着调用人脸检测和特征点绘制大的函数即可。

五、总结

&＃xff08;1&＃xff09;本设计的照片检测的效果较好&＃xff0c;视频检测的效果还有待提高。因程序采用的人脸检测和特征点检测的算法虽然简便易操作&＃xff0c;但是在准确性不是很好&＃xff0c;尤其是在光线昏暗、脸部倾斜等特征不明显的时候。可尝试从数据集开始&＃xff0c;自己训练神经网络&＃xff0c;争取得到较好的分类器和检测器。

&＃xff08;2&＃xff09;在进行视频检测时&＃xff0c;通过Qlabel去呈现视频的速度较慢。该方法转换时间较长&＃xff0c;我某次测算的转换时间差不多在200ms。可以尝试使用QGraphicsView去呈现视频。

&＃xff08;3&＃xff09;统计眨眼次数的功能尚未实现&＃xff0c;需要进一步完善。

python代码提取&＃xff1a;&＃xff08;包含程序解释说明、人脸识别分类器、特征点检测分类器等&＃xff09;

https://download.csdn.net/download/qq_38276972/13046213