入门视频采集与处理

做视频采集与处理&＃xff0c;自然少不了要学会分析YUV数据。因为从采集的角度来说&＃xff0c;一般的视频采集芯片输出的码流一般都是YUV数据流的形式&＃xff0c;而从视频处理&＃xff08;例如H.264、MPEG视频编解码&＃xff09;的角度来说&＃xff0c;也是在原始YUV码流进行编码和解析&＃xff0c;所以&＃xff0c;了解如何分析YUV数据流对于做视频领域的人而言&＃xff0c;至关重要。本文就是根据我的学习和了解&＃xff0c;简单地介绍如何分析YUV数据流。

    YUV&＃xff0c;分为三个分量&＃xff0c;“Y”表示明亮度&＃xff08;Luminance或Luma&＃xff09;&＃xff0c;也就是灰度值&＃xff1b;而“U”和“V” 表示的则是色度&＃xff08;Chrominance或Chroma&＃xff09;&＃xff0c;作用是描述影像色彩及饱和度&＃xff0c;用于指定像素的颜色。

    与我们熟知的RGB类似&＃xff0c;YUV也是一种颜色编码方法&＃xff0c;主要用于电视系统以及模拟视频领域&＃xff0c;它将亮度信息&＃xff08;Y&＃xff09;与色彩信息&＃xff08;UV&＃xff09;分离&＃xff0c;没有UV信息一样可以显示完整的图像&＃xff0c;只不过是黑白的&＃xff0c;这样的设计很好地解决了彩色电视机与黑白电视的兼容问题。并且&＃xff0c;YUV不像RGB那样要求三个独立的视频信号同时传输&＃xff0c;所以用YUV方式传送占用极少的频宽。

    好了&＃xff0c;言归正传&＃xff0c;谈谈如何分析YUV码流吧。YUV码流有多种不同的格式&＃xff0c;要分析YUV码流&＃xff0c;就必须搞清楚你面对的到底是哪一种格式&＃xff0c;并且必须搞清楚这种格式的YUV采样和分布情况。下面我将介绍几种常用的YUV码流格式&＃xff0c;供大家参考。

1.  采样方式  

    YUV码流的存储格式其实与其采样的方式密切相关&＃xff0c;主流的采样方式有三种&＃xff0c;YUV4:4:4&＃xff0c;YUV4:2:2&＃xff0c;YUV4:2:0&＃xff0c;关于其详细原理&＃xff0c;可以通过网上其它文章了解&＃xff0c;这里我想强调的是如何根据其采样格式来从码流中还原每个像素点的YUV值&＃xff0c;因为只有正确地还原了每个像素点的YUV值&＃xff0c;才能通过YUV与RGB的转换公式提取出每个像素点的RGB值&＃xff0c;然后显示出来。

    用三个图来直观地表示采集的方式吧&＃xff0c;以黑点表示采样该像素点的Y分量&＃xff0c;以空心圆圈表示采用该像素点的UV分量。

     

    先记住下面这段话&＃xff0c;以后提取每个像素的YUV分量会用到。

YUV 4:4:4采样&＃xff0c;每一个Y对应一组UV分量。

YUV 4:2:2采样&＃xff0c;每两个Y共用一组UV分量。

YUV 4:2:0采样&＃xff0c;每四个Y共用一组UV分量。

2.  存储方式

    下面我用图的形式给出常见的YUV码流的存储方式&＃xff0c;并在存储方式后面附有取样每个像素点的YUV数据的方法&＃xff0c;其中&＃xff0c;Cb、Cr的含义等同于U、V。

&＃xff08;1&＃xff09; YUVY 格式 &＃xff08;属于YUV422&＃xff09;

    YUYV为YUV422采样的存储格式中的一种&＃xff0c;相邻的两个Y共用其相邻的两个Cb、Cr&＃xff0c;分析&＃xff0c;对于像素点Y&＃39;00、Y&＃39;01 而言&＃xff0c;其Cb、Cr的值均为 Cb00、Cr00&＃xff0c;其他的像素点的YUV取值依次类推。

&＃xff08;2&＃xff09; UYVY 格式 &＃xff08;属于YUV422&＃xff09;

    UYVY格式也是YUV422采样的存储格式中的一种&＃xff0c;只不过与YUYV不同的是UV的排列顺序不一样而已&＃xff0c;还原其每个像素点的YUV值的方法与上面一样。

&＃xff08;3&＃xff09; YUV422P&＃xff08;属于YUV422&＃xff09;

    YUV422P也属于YUV422的一种&＃xff0c;它是一种Plane模式&＃xff0c;即打包模式&＃xff0c;并不是将YUV数据交错存储&＃xff0c;而是先存放所有的Y分量&＃xff0c;然后存储所有的U&＃xff08;Cb&＃xff09;分量&＃xff0c;最后存储所有的V&＃xff08;Cr&＃xff09;分量&＃xff0c;如上图所示。其每一个像素点的YUV值提取方法也是遵循YUV422格式的最基本提取方法&＃xff0c;即两个Y共用一个UV。比如&＃xff0c;对于像素点Y&＃39;00、Y&＃39;01 而言&＃xff0c;其Cb、Cr的值均为 Cb00、Cr00。

&＃xff08;4&＃xff09;YV12&＃xff0c;YU12格式&＃xff08;属于YUV420&＃xff09;

    YU12和YV12属于YUV420格式&＃xff0c;也是一种Plane模式&＃xff0c;将Y、U、V分量分别打包&＃xff0c;依次存储。其每一个像素点的YUV数据提取遵循YUV420格式的提取方式&＃xff0c;即4个Y分量共用一组UV。注意&＃xff0c;上图中&＃xff0c;Y&＃39;00、Y&＃39;01、Y&＃39;10、Y&＃39;11共用Cr00、Cb00&＃xff0c;其他依次类推。

&＃xff08;5&＃xff09;NV12、NV21&＃xff08;属于YUV420&＃xff09;

    NV12和NV21属于YUV420格式&＃xff0c;是一种two-plane模式&＃xff0c;即Y和UV分为两个Plane&＃xff0c;但是UV&＃xff08;CbCr&＃xff09;为交错存储&＃xff0c;而不是分为三个plane。其提取方式与上一种类似&＃xff0c;即Y&＃39;00、Y&＃39;01、Y&＃39;10、Y&＃39;11共用Cr00、Cb00

3.  总结

    几种常见的YUV码流格式就简单地列在上面了&＃xff0c;大家在处理YUV码流前&＃xff0c;先了解清楚自己的码流到底属于哪一种&＃xff0c;然后对应进行处理。

    最后&＃xff0c;再回答一个疑问&＃xff0c;即分析清楚YUV码流格式了&＃xff0c;我们可以做什么&＃xff1f;最常用的一点就是&＃xff0c;提取出所有的Y分量&＃xff0c;然后利用vc或者matlab把你采集的图像的灰度值&＃xff08;Y分量&＃xff09;显示处理&＃xff0c;这样你就可以很快地知道你采集的图像是否有问题了。后面我将继续写一些文章讲述如何提取、转换、显示这些YUV原始码流&＃xff0c;有兴趣可以继续关注&＃xff0c;欢迎留言讨论。