01图像视频的加载和显示(OpenCV基础)(机器视觉)

知识重点

• OpenCV读取的图片颜色通道是按照BGR(蓝绿红)排列, 一般图片通道都是按照RGB来排列.
• 基于OpenCV的机器视觉
• ord(&＃39;q&＃39;):  表示计算ASCII 码值      # 113   # 对应配对函数chr()
• imwrite(path, img): 使用imwrite保存图片
• 打开视频文件: vc &＃61; cv2.VideoCapture(&＃39;./1.mp4&＃39;)
• 视频是由图片组成的, 视频的每一帧就是一幅图片, 一般是30帧, 表示一秒显示30张图片.
• 创建窗口

cv2.namedWindow(&＃39;window&＃39;,cv2.WINDOW_NORMAL) # WINDOW_NORMAL可以让窗口大小可以调节
cv2.resizeWindow(&＃39;window&＃39;, 800,600) # 更改窗口大小
cv2.imshow(&＃39;window&＃39;, 0) # 展示名字为window的窗口

• 使用waitkey() 关闭窗口    # waitKey方法表示等待按键, 0表示任何按键, 其他整数表示等待按键的时间

key &＃61; cv2.waitKey(0) # key是int型&＃xff0c; 最少是16位&＃xff0c; 但ASCII 是8位
if key&0xFF &＃61;&＃61; ord(&＃39;q&＃39;):
print(&＃39;准备销毁窗口&＃39;)
cv2.destroyAllWindows()

• VideoWriter() :  录制视频,  参数一为输出文件, 参数二为多媒体文件格式 VideoWriter_fourcc, 参数三为帧率, 参数四为分辨率.

cap &＃61; cv2.VideoCapture(0)
fourcc &＃61; cv2.VideoWriter_fourcc(*&＃39;mp4v&＃39;) # *mp4v就是解包操作 等同于&＃39;m&＃39;,&＃39;p&＃39;,&＃39;4&＃39;,&＃39;v&＃39;
# (640, 480)表示摄像头拍视频, 这个大小搞错了也不行. 主要是这个分辨率.
vw &＃61; cv2.VideoWriter(&＃39;output.mp4&＃39;, fourcc, 20, (640, 480))

• 可以一直显示一张图片:    cv2.imshow( &＃39;窗口名&＃39; , img)

img &＃61; np.zeros((360, 640, 3), np.uint8)
cv2.imshow(&＃39;mouse&＃39;, img)

1. 机器视觉介绍

现在说的机器视觉(Machine Vision)一般指计算机视觉(Computer Vision), 简单来说就是研究如何使机器看懂东西.就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉&＃xff0c;并进一步做图形处理&＃xff0c;使电脑处理成为更适合人眼观察或传送给仪器检测的图像。

1.1 机器视觉的应用

• 物体识别: 人脸识别, 车辆检测

• 识别图像中的文字(OCR)

• 图像拼接, 修复, 背景替换

2. OpenCV介绍

• Gray Bradsky于1999年开发, 2000年发布

• C&＃43;&＃43;, Python, Java, JS

• 跨平台(Windows, Linux, Mac...)

为什么选择python语言:

• python语言简单, 开发速度快

• 底层使用C/C&＃43;&＃43;, 速度有保障

• 有完整的生态链

学习目标:

• 了解OpenCV的运行机制

• 可以使用OpenCV处理一些图像常见问题

• 学会物体识别, 文字识别等问题的处理思路

3. 安装OpenCV

进入虚拟环境, 执行pip install opencv-python&＃61;&＃61;3.4.1.15,  3.4.2之后有些算法申请了专利,用不了

安装opencv扩展包(选装): pip install opencv-contrib-python&＃61;&＃61;3.4.1.15

如果装不了去:https://www.lfd.uci.edu/~gohlke/pythonlibs/下载相应的包手动安装.

pip install opencv-python3.4.1.15 opencv-contrib-python3.4.1.15 jupyter matplotlib -i https://pypi.douban.com/simple

4. 图像视频的加载和显示

4.1 创建和显示窗口

• namedWindow() 创建命名窗口

• imshow() 显示窗口

• destroyAllwindws() 摧毁窗口

• resizeWindow() 改变窗口大小

• waitKey() 等待用户输入

# opencv 名字叫OpenCV&＃xff0c;导包叫cv2
import cv2
# 创建窗口 cv2.window_autosize 不容许修改窗口大小,
# WINDOW_NORMAL可以让窗口大小变得可以调节
cv2.namedWindow(&＃39;window&＃39;,cv2.WINDOW_NORMAL)
# 更改窗口大小
cv2.resizeWindow(&＃39;window&＃39;, 800,600)
# 展示名字为window的窗口
cv2.imshow(&＃39;window&＃39;, 0)
# waitKey方法表示等待按键, 0表示任何按键, 其他整数表示等待按键的时间,
# 单位是毫秒, 超过时间没有发生按键操作窗口会自动关闭.
key &＃61; cv2.waitKey(0)
# key是int型&＃xff0c; 最少是16位&＃xff0c; 但ASCII 是8位
if key&0xFF &＃61;&＃61; ord(&＃39;q&＃39;):
print(&＃39;准备销毁窗口&＃39;)
cv2.destroyAllWindows()

4.2 加载显示图片

imread(path, flag): 使用imread可以读取图片, 默认读取的是彩色图片.比如:

# 导入opencv包
import cv2
import matplotlib.pyplot as plt
import numpy as np
# 读取图片
img &＃61; cv2.imread(&＃39;./cat.jpeg?s=#39;)
plt.imshow(img)

原始图片为前一张, 使用matplotlib显示为后一张:    # 因为读取数据时维度发生了变化

 发现这个猫的样子没变, 但是颜色不太对, 这是因为OpenCV读取的图片颜色通道是按照BGR(蓝绿红)排列的, 一般图片通道都是按照RGB来排列的.为了正常的显示猫的图片, 我们要用OpenCV的图像显示方法 。

我们可以把显示图片的方法封装成一个函数方便我们显示图片:

def cv_show(name, img):
cv2.imshow(name, img)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv_show(&＃39;cat&＃39;, img) # 按任意键关闭窗口

4.3 保存图片

• imwrite(path, img): 使用imwrite保存图片.

import cv2
# 创建窗口
cv2.namedWindow(&＃39;img&＃39;, cv2.WINDOW_NORMAL)
cv2.resizeWindow(&＃39;img&＃39;, 640, 480)
# 读取图片
img &＃61; cv2.imread(&＃39;./img/cat.jpeg?s=#39;)
while True:
cv2.imshow(&＃39;img&＃39;, img)
key &＃61; cv2.waitKey(0)
if key &＃61;&＃61; ord(&＃39;q&＃39;):
break
elif key &＃61;&＃61; ord(&＃39;s&＃39;):
cv2.imwrite(&＃39;./123.png&＃39;, img)
else:
print(key)
cv2.destroyAllWindows()

4.4 视频采集

• 视频是由图片组成的, 视频的每一帧就是一幅图片, 一般是30帧, 表示一秒显示30张图片.

• cv2.VideoCapture可以捕获摄像头, 用数字来表示不同的设备, 比如0, 1

• 如果是视频文件, 可以直接指定路径即可.

• 读取视频文件: vc &＃61; cv2.VideoCapture(&＃39;./1.mp4&＃39;)

# 打开视频文件
vc &＃61; cv2.VideoCapture(&＃39;./1.mp4&＃39;)
# 打开摄像头
vc &＃61; cv2.VideoCapture(0)

• 检查是否正常打开

if vc.isOpened():
# 读取视频的一帧.
open, frame &＃61; vc.read() # frame 是图片, 视频帧
else:
open &＃61; False

• 循环读取视频每一帧数据

while True:
# 可以读到内容ret返回True
ret, frame &＃61; vc.read()
# 读到最后frame就是空
if frame is None:
break
if ret &＃61;&＃61; True:
cv2.imshow(&＃39;result&＃39;, frame)
# 0xFF &＃61;&＃61; 27表示按esc退出键会退出
if cv2.waitKey(33) & 0xFF &＃61;&＃61; 27:
break
vc.release()
cv2.destroyAllWindows()

• cap.read() 返回两个值, 第一个为状态值, 读到帧为True, 第二个值为视频帧

• cap.release()

• 循环读取摄像头的每一帧数据

## 从摄像头一直读取数据
# 创建窗口
cv2.namedWindow(&＃39;video&＃39;, cv2.WINDOW_NORMAL)
cv2.resizeWindow(&＃39;video&＃39;, 640, 480)
# 获取视频设备
cap &＃61; cv2.VideoCapture(0)
while True:
# 从摄像头读取视频
ret, frame &＃61; cap.read()

# 将视频帧放在窗口中显示
cv2.imshow(&＃39;video&＃39;, frame)

# 等待键盘事件, 如果为q,退出
key &＃61; cv2.waitKey(1)
if key & 0xFF &＃61;&＃61; ord(&＃39;q&＃39;):
break

# 释放
cap.release()
cv2.destroyAllWindows()

4.5 视频录制

• VideoWriter : 参数一为输出文件, 参数二为多媒体文件格式(VideoWriter_fourcc, 参数三为帧率, 参数四为分辨率.

• write 编码并写入缓存

• release 缓存内容写入磁盘, 并释放资源

cap &＃61; cv2.VideoCapture(0)
# *mp4v就是解包操作 等同于 &＃39;m&＃39;, &＃39;p&＃39;, &＃39;4&＃39;, &＃39;v&＃39;
fourcc &＃61; cv2.VideoWriter_fourcc(*&＃39;mp4v&＃39;)
# (640, 480)表示摄像头拍视频, 这个大小搞错了也不行.
# 主要是这个分辨率.
vw &＃61; cv2.VideoWriter(&＃39;output.mp4&＃39;, fourcc, 20, (640, 480))
while cap.isOpened():
ret, frame &＃61; cap.read()
if not ret:
print(&＃39;can not recive frame, Exiting...&＃39;)
break
vw.write(frame)
cv2.imshow(&＃39;frame&＃39;, frame)
if cv2.waitKey(1) &＃61;&＃61; ord(&＃39;q&＃39;):
break

cap.release()
#释放VideoWriter
vw.release()
cv2.destroyAllWindows()

4.6 控制鼠标

OpenCV允许我们对窗口上的鼠标动作做出响应.

• setMouseCallback(winname, callback, userdata) winname是窗口的名字, callback是回调函数, userdata是给回调函数的参数.   # 结合callback使用

• callback(event, x, y, flags, userdata)回调函数必须包含这5个参数. event是事件(鼠标移动, 左键, 右键等), x, y是点鼠标的坐标点, flags主要用于组合键, userdata就是上面的setMouseCallback 的 userdata

  鼠标事件:

  • EVENT_MOUSEMOVE 0 鼠标移动

  • EVENT_LBUTTONDOWN 1 按下鼠标左键

  • EVENT_RBUTTONDOWN 2 按下鼠标右键

  • EVENT_MBUTTONDOWN 3 按下鼠标中键

  • EVENT_LBUTTONUP 4 左键释放

  • EVENT_RBUTTONUP 5 右键释放

  • EVENT_MBUTTONUP 6 中键释放

  • EVENT_LBUTTONDBLCLK 7 左键双击

  • EVENT_RBUTTONDBLCLK 8 右键双击

  • EVENT_MBUTTONDBLCLK 9 中键双击

  • EVENT_MOUSEWHEEL 10 鼠标滚轮上下滚动

  • EVENT_MOUSEHWHEEL 11 鼠标左右滚动

• flags:

  • EVENT_FLAG_LBUTTON 1 按下左键

  • EVENT_FLAG_RBUTTON 2 按下右键

  • EVENT_FLAG_MBUTTON 4 按下中键

  • EVENT_FLAG_CRTLKEY 8 按下ctrl键

  • EVENT_FLAG_SHIFTKEY 16 按下shift键

  • EVENT_FLAG_ALTKEY 32 按下alt键

import cv2
import numpy as np
def mouse_callback(event, x, y, flags, userdata):
print(event, x, y, flags, userdata)

cv2.namedWindow(&＃39;mouse&＃39;, cv2.WINDOW_NORMAL)
cv2.resizeWindow(&＃39;mouse&＃39;, 640, 360)
# 设置鼠标回调函数
cv2.setMouseCallback(&＃39;mouse&＃39;, mouse_callback, &＃39;123&＃39;)
# 显示窗口和背景
# 生成全黑的图片
img &＃61; np.zeros((360, 640, 3), np.uint8)
while True:
cv2.imshow(&＃39;mouse&＃39;, img)
key &＃61; cv2.waitKey(1)
if key & 0xFF &＃61;&＃61; ord(&＃39;q&＃39;):
break

cv2.destroyAllWindows()

4.7 TrackBar控件  (追踪条)

TrackBar控件

• createTrackbar(trackbarname, winname, value, count, onChange) 创建TrackBar控件, value为trackbar的默认值, count为bar的最大值, 最小为0

• getTrackbarPos(trackbarname, winname) 获取TrackBar当前值

import cv2
import numpy as np
cv2.namedWindow(&＃39;trackbar&＃39;, cv2.WINDOW_NORMAL) # 创建窗口
cv2.resizeWindow(&＃39;trackbar&＃39;, 640, 480)
def callback(value): # 定义回调函数
pass
# 创建3个trackbar
cv2.createTrackbar(&＃39;R&＃39;, &＃39;trackbar&＃39;, 0, 255, callback)
cv2.createTrackbar(&＃39;G&＃39;, &＃39;trackbar&＃39;, 0, 255, callback)
cv2.createTrackbar(&＃39;B&＃39;, &＃39;trackbar&＃39;, 0, 255, callback)
img &＃61; np.zeros((480 , 640, 3), np.uint8) # 创建背景图片
while True:
# 获取当前trackbar 的值
r &＃61; cv2.getTrackbarPos(&＃39;R&＃39;, &＃39;trackbar&＃39;)
g &＃61; cv2.getTrackbarPos(&＃39;G&＃39;, &＃39;trackbar&＃39;)
b &＃61; cv2.getTrackbarPos(&＃39;B&＃39;, &＃39;trackbar&＃39;)
img[:] &＃61; [b, g, r] # 用获取的三个值修改背景
cv2.imshow(&＃39;trackbar&＃39;, img) # 显示图片
key &＃61; cv2.waitKey(1)
if key &＃61;&＃61; ord(&＃39;q&＃39;):
break
cv2.destroyAllWindows()