基于opencv的识别器

1 问题背景

生物识别技术被广泛用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域。随着技术的进一步成熟和社会认同度的提高，包含在生物识别技术的人脸识别技术将应用在更多的领域，例如：
1、企业、住宅安全和管理。
2、电子护照及身份证。
3、公安、司法和刑侦。
4、自助服务。
5、信息安全。
在本次实验将完成以下内容：
1用opencv自带的Harr级联分类器进行人脸、人眼与微笑识别
2训练自己的级联分类器，训练过程参考自官网：https://docs.opencv.org/2.4/doc/user_guide/ug_traincascade.html

2.1 安装opencv

activate tf2
pip install opencv-pytho


2.2 测试

安装成功后可在tf2(tensorflow2.0)环境下测试

可以看到opencv自带的识别模型如下：

3.1 静态图片检测

eg.py：

# 导入opencv-python
import cv2
# 读入一张图片，引号里为图片的路径，需要你自己手动设置
img = cv2.imread('dogs.jpg')
# 导入人脸级联分类器引擎，'.xml'文件里包含训练出来的人脸特征
face_engine = cv2.CascadeClassifier('dog_cascade.xml')
# 用人脸级联分类器引擎进行人脸识别，返回的faces为人脸坐标列表，1.3是放大比例，5是重复识别次数
faces = face_engine.detectMultiScale(img,scaleFactor=1.3,minNeighbors=5)
# 对每一张脸，进行如下操作
for (x,y,w,h) in faces:
# 画出人脸框，蓝色（BGR色彩体系），画笔宽度为2
img = cv2.rectangle(img,(x,y),(x+w,y+h),(0,255,0),2)
# 在"img2"窗口中展示效果图
cv2.imshow('img2',img)
# 监听键盘上任何按键，如有按键即退出并关闭窗口，并将图片保存为output.jpg
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('output.jpg',img)


测试输入：

测试输出：

3.2 动态摄像头检测

import cv2
face_cascade = cv2.CascadeClassifier(cv2.data.haarcascades+'haarcascade_frontalface_default.xml')
eye_cascade = cv2.CascadeClassifier(cv2.data.haarcascades+'haarcascade_eye.xml')
smile_cascade = cv2.CascadeClassifier(cv2.data.haarcascades+'haarcascade_smile.xml')
# 调用摄像头摄像头
cap = cv2.VideoCapture(0)
while(True):
# 获取摄像头拍摄到的画面
ret, frame = cap.read()
faces = face_cascade.detectMultiScale(frame, 1.3, 2)
img = frame
for (x,y,w,h) in faces:
img = cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
face_area = img[y:y+h, x:x+w]
## 人眼检测
eyes = eye_cascade.detectMultiScale(face_area,1.3,10)
for (ex,ey,ew,eh) in eyes:
cv2.rectangle(face_area,(ex,ey),(ex+ew,ey+eh),(0,255,0),1)
## 微笑检测
smiles = smile_cascade.detectMultiScale(face_area,scaleFactor= 1.16,minNeighbors=65,minSize=(25, 25),flags=cv2.CASCADE_SCALE_IMAGE)
for (ex,ey,ew,eh) in smiles:
cv2.rectangle(face_area,(ex,ey),(ex+ew,ey+eh),(0,0,255),1)
cv2.putText(img,'Smile',(x,y-7), 3, 1.2, (0, 0, 255), 2, cv2.LINE_AA)
# 实时展示效果画面
cv2.imshow('frame2',img)
# 每5毫秒监听一次键盘动作
if cv2.waitKey(5) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()


检测结果：

4.1 收集样本，处理样本

收集正、负样本

关于正样本的收集，我收集了100个正样本，照片是从百度和必应下载的。关于负样本，只要不含有正样本图片即可，这里采用猫和人脸、不含狗的场景等图片，收集了300张图片。
在rename_resize_images.py程序中对照片进行批处理：重命名、尺寸缩小。按照OpenCV官方建议正样本是20像素x20像素。
正样本：

尺寸缩小后的正样本：

负样本：

样本处理

负样本除了灰度以外不必调整，分辨率自由。
把正样本也就是有狗狗的图片放在了pos文件夹中，把消极图片放在neg文件夹中。
然后创建正负样本目录，格式如下：
<绝对路径 1 0 0 w h > 其中w=20 h=20


使用时更改rootdir即可，即修改文件路径即可，文件路径为你的正样本保存的目录或者负样本保存的目录，以下为正样本pos.txt生成的程序：

#!/usr/bin env python
import os
rootdir = 'pos\\'
files = os.listdir(rootdir)
name = os.path.split(files[0])
with open(rootdir+'pos.txt','w+') as f:
for file in files:
name = os.path.split(file)
if name[1]=='pos.txt':
continue
print file
f.write("pos\\"+name[1]+' '+'1 0 0 20 20\n'


以下为生成负样本neg.txt的程序：

#!/usr/bin env python
import os
rootdir = 'neg\\'
files = os.listdir(rootdir)
name = os.path.split(files[0])
with open(rootdir+'neg.dat','w+') as f:
for file in files:
name = os.path.split(file)
if name[1]=='neg.txt':
continue
print file
f.write("neg\\"+name[1]+'\n')


生成正样本pos.dat 和neg.dat 后，将包含正样本的文件夹和负样本的文件夹以及pos.dat neg.dat 文件移动到opencv\build\x64\vc12\bin\ 目录。

4.2 创建向量

pop.txt 是上一步骤的正向量目录文件
num是其中的正样本数量，
w是宽h高
pos.vec是生成的正向量文件名

cd pos.txt所在目录
opencv_createsamples -info pos.txt -num 100 -w 20 -h 20 -vec pos.ve


4.3 训练分类器

opencv_createsamples各个参数的意义：
-data：指定保存训练结果的文件夹
-vec:指定正样本集
-bg:指定负样本的描述文件夹
-numPos：指定每一级参与训练的正样本的数目
-numNeg:指定每一级参与训练的负样本的数目（可大于负样本图片的总数）
-numStage:训练级数
-w:正样本宽
-h:正样本高

mkdir data
$ opencv_traincascade -data data -vec pos.vec -bg neg.txt -numPos 85 -numNeg 400 -numStage 15 -w 20 -h 20


等待运行结束，打开data就可以看见训练的分类器：

5.1 静态图片检测

对人脸识别的测试进行修改，替换模型为cascade.xml

import os
import cv2
# 测试图片
imgName = "dogs.jpg"
xmlFileName = "cascade.xml"
if not (os.path.exists(imgName) and os.path.exists(xmlFileName)):
print("图片或检测器文件不存在")
# 测试训练的检测器是否可用
windowName = "object detect"
img = cv2.imread(imgName)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
cascade = cv2.CascadeClassifier(xmlFileName)
rects = cascade.detectMultiScale(gray)
if len(rects) > 0:
print('========================检测到%d个目标===============================' % (len(rects)))
else:
print('没检测到东西')
for x, y, width, height in rects:
cv2.rectangle(img, (x, y), (x + width, y + height),(0, 255, 0),2)
# 在"img2"窗口中展示效果图
cv2.imshow('img2',img)
# 监听键盘上任何按键，如有按键即退出并关闭窗口，并将图片保存为output.jpg
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('output.jpg',img


测试图像：

测试结果：

5.2 动态摄像头检测

import cv2
face_cascade = cv2.CascadeClassifier('cascade.xml')
# 调用摄像头摄像头
cap = cv2.VideoCapture(0)
while(True):
# 获取摄像头拍摄到的画面
ret, frame = cap.read()
faces = face_cascade.detectMultiScale(frame, 1.3, 5)
img = frame
for (x,y,w,h) in faces:
img = cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
# 实时展示效果画面
cv2.imshow('frame2',img)
# 每5毫秒监听一次键盘动作
if cv2.waitKey(5) & 0xFF == ord('q'):
break
# 最后，关闭所有窗口
cap.release()
cv2.destroyAllWindows()


测试结果：

过程中有出现识别不到的情况，需要调整

中的1.3（比例因子）

通过本次实验，测试了opencv的人脸检测相关模型，并创建了自己的简单的狗脸检测的模型，从环境搭建、版本兼容性、模型搭建等问题上遇到的很多bug，但是最终得到解决。
本次实验得到的模型仅为狗狗的脸的检测，而不是辩识，即只能框出脸的位置，无法判断狗的名字，品种等信息。