Qt 中获取摄像头图像数据的方法

在 Qt 中提供了 QCamera 类用来操作摄像头。&＃xff08;这里的摄像头指的是电脑上常用的那种 USB 摄像头或网络摄像头&＃xff0c;暂时还不支持工业相机。&＃xff09;摄像头获取的实时图像可以显示在 QCameraViewfinder 或 QGraphicsVideoItem 上&＃xff0c;QCameraImageCapture 可以获取静态的图像&＃xff0c;QMediaRecorder 可以用来录像。

用这些现有的组件可以很方便的完成一些基本的相机操作。但是如果我们做的更深入点&＃xff0c;比如做个人脸识别、美颜处理一类的就不够用了。这时我们就需要获取相机的每一帧实时图像数据。

在 Qt 中&＃xff0c;实现这个功能有两种主要的方法&＃xff0c;一种是写一个派生自 QAbstractVideoSurface 的类。第二个方法是用 QVideoProbe。采用 QVideoProbe 比 第一种方法要简单。
但是按照 https://wiki.qt.io/Qt_5.7_Multimedia_Backends 上面的说法&＃xff1a;

QVideoProbe support:
Android: only for camera
Blackberry: no support
iOS: no support
Linux: only for media player
Mac: no support
Windows: only for media player

QVideoProbe 暂时只在 android 平台上支持 QCamera。所以我们这篇文章主要来讲第一种方法。

QAbstractVideoSurface 是个纯虚类。要派生一个类需要我们实现两个函数。
* bool present(const QVideoFrame &frame);
* QList supportedPixelFormats(QAbstractVideoBuffer::HandleType type &＃61; QAbstractVideoBuffer::NoHandle) const

我们派生的类叫做 CameraImage&＃xff0c;那么这个类的头文件可以这样。

class CameraImage : public QAbstractVideoSurface
{Q_OBJECT
public:QList supportedPixelFormats(QAbstractVideoBuffer::HandleType handleType &＃61; QAbstractVideoBuffer::NoHandle) const override;explicit CameraImage(QObject *parent &＃61; 0);void setVideoFrame(const QVideoFrame &frame);
private slots:bool present(const QVideoFrame &frame) override;
private:void setRGB24Image(const uint8_t *imgBuf, QSize size);void setRGB32Image(const uint8_t *imgBuf, QSize size);void setMono8Image(const uint8_t *imgBuf, QSize size);void setYUY2Image(const uint8_t *imgBuf, QSize size);void setVYUYImage(const uint8_t *imgBuf, QSize size);void setUYVYImage(const uint8_t *imgBuf, QSize size);QImage m_image;
};

这个类中的 m_image 就是用来存放相机图像数据的。相机采集的每一帧数据都会放到这里&＃xff0c;供进一步处理。

supportedPixelFormats 函数用来返回所有的支持的 PixelFormats。这里我们只是做个例子&＃xff0c;支持最基本的几种&＃xff0c;作为一个完善的 CameraImage 类&＃xff0c;当然是支持的像素类型越多越好。

CameraImage::CameraImage(QObject *parent): QAbstractVideoSurface(parent)
{}
QList<QVideoFrame::PixelFormat> CameraImage::supportedPixelFormats(QAbstractVideoBuffer::HandleType handleType) const
{Q_UNUSED(handleType);QList<QVideoFrame::PixelFormat> list;list << QVideoFrame::Format_RGB32;list << QVideoFrame::Format_ARGB32;list << QVideoFrame::Format_RGB24;list << QVideoFrame::Format_UYVY;list << QVideoFrame::Format_Y8;list << QVideoFrame::Format_YUYV;return list;
}

present 函数是最重要的&＃xff0c;每次相机有新图像到来&＃xff0c;都会调用 present 函数。

bool CameraImage::present(const QVideoFrame &frame){// 处理捕获的帧if(frame.isMapped()){setVideoFrame(frame);}else{QVideoFrame f(frame);f.map(QAbstractVideoBuffer::ReadOnly);setVideoFrame(f);}return true;}

这里有个 QVideoFrame&＃xff0c;需要讲解一下。一个 QVideoFrame 代表的就是相机的一帧数据。QVideoFrame::bits() 返回的是一帧图像的起始地址。但是在调用 bits() 函数之前还要先判断 frame 是否 map 了。所谓 map 就是将图像数据放到 CPU 可以寻址的地方。具体的大家可以看 QVideoFrame 的帮助文档。但是使用的方法很简单&＃xff0c;就是先判断是否 map&＃xff0c;如果没 map 就 map 一下。之后就可以正常使用了。

setVideoFrame 函数的作用是将 QVideoFrame 转换为 QImage。

void CameraImage::setVideoFrame(const QVideoFrame &frame)
{switch (frame.pixelFormat()){case QVideoFrame::Format_RGB24:setRGB24Image(frame.bits(), frame.size());break;case QVideoFrame::Format_RGB32:case QVideoFrame::Format_ARGB32:case QVideoFrame::Format_ARGB32_Premultiplied:setRGB32Image(frame.bits(), frame.size());break;case QVideoFrame::Format_Y8:setBayerImage(frame.bits(), frame.size());break;case QVideoFrame::Format_YUYV:setYUY2Image(frame.bits(), frame.size());break;case QVideoFrame::Format_UYVY:setUYVYImage(frame.bits(), frame.size());break;default:break;}// 这里可以做人脸识别一类的其他工作。
}

setVideoFrame 函数中又调用了 setRGB24Image 等其他函数。这些函数实现具体的数据转换操作。代码比较多&＃xff0c;这里就不贴出来了。

• void setRGB24Image(const uint8_t *imgBuf, QSize size);
• void setRGB32Image(const uint8_t *imgBuf, QSize size);
• void setMono8Image(const uint8_t *imgBuf, QSize size);
• void setYUY2Image(const uint8_t *imgBuf, QSize size);
• void setVYUYImage(const uint8_t *imgBuf, QSize size);
• void setUYVYImage(const uint8_t *imgBuf, QSize size);