YUV颜色空间——图像子采样

在开始这篇文章之前&＃xff0c;首先得知道&＃xff0c;什么是图像子采样&＃xff0c;以及为什么要介绍这个话题。

首先图像子采样&＃xff0c;其实就是图像采样。这个子的含义并没那么高深&＃xff0c;可能有的同学一看标题&＃xff0c;以为子采样是种多么高深的技术&＃xff0c;这里直接按采样来理解就好。我们曾在电视图像数字化中&＃xff0c;讲过采样这一步骤&＃xff0c;它实质上就是指&＃xff0c;用多少点来描述一幅图像&＃xff0c;也即图像的像素点有多少个。不过在讲图像采样的时候&＃xff0c;我们不说像素点&＃xff0c;相应的&＃xff0c;我们称它为采样点&＃xff0c;其实是一个意思。

通常&＃xff0c;我们对彩色电视图像进行采样时&＃xff0c;会使用两种方法。

一种是使用相同的采样频率&＃xff0c;对图像的亮度信号和色差信号进行采样。

另一种则是对亮度信号和色差信号&＃xff0c;分别采用不同的采样频率进行采样。而如果对色差信号使用的采样频率&＃xff0c;比对亮度信号使用的采样频率要低&＃xff0c;这时我们就说它是图像子采样。

其实这两种方法很好理解&＃xff0c;首先采样频率我们之前讲过&＃xff0c;它的公式为&＃xff1a;

采样频率 &＃61; 帧频 x 每帧的行数 x 每行上的采样数目

它的意思是&＃xff1a;每秒采样到的采样点数目&＃xff0c;知道了这点就来看一下上面这两种方法的区别。

第一种是使用相同的采样频率&＃xff0c;对亮度和色度&＃xff08;不用解释&＃xff0c;色差即代表色度&＃xff09;进行采样&＃xff0c;说明亮度和色度的采样点数目是相同的&＃xff0c;进而说明&＃xff0c;在图像的每一个像素上&＃xff0c;我们都需要对亮度和色度同时进行采样。这点我们可能觉得很正常&＃xff0c;不过却是没必要而且浪费带宽的。

理解了第一种&＃xff0c;第二种就很好理解了。当色度的采样数目&＃xff0c;比亮度的要低时&＃xff0c;这种采样方法就叫图像子采样&＃xff0c;这里的子不是指父子的子&＃xff0c;而是指高低的低。

这有的人可能就纳闷了&＃xff0c;为什么色度的采样数目&＃xff0c;可以更低呢&＃xff1f;我们之前说过&＃xff0c;人眼对亮度的敏感度&＃xff0c;要高于色度。虽然这样说&＃xff0c;但是我们还是没有直观的感受&＃xff0c;所以我找了幅图&＃xff1a;

                                                                     亮度&＃xff08;左&＃xff09; 色度&＃xff08;中&＃xff09; 完整图像&＃xff08;右&＃xff09;

我想这幅图应该很直观&＃xff0c;最左边只保留了亮度&＃xff0c;而中间提取出了色度&＃xff0c;右边则是完整的图像&＃xff0c;左边 &＃43; 中间 &＃61; 右边。当然这里的亮度我们专指黑白灰&＃xff0c;而不考虑光强等表示光通量的因素&＃xff0c;因为我们已经定义了比较两种颜色的标准光源。

所以这时我们应该比较清楚了&＃xff0c;就像我们小时候看黑白电视&＃xff0c;也并不会产生错误信息一样。

所以下面我们就来看看&＃xff0c;常用的图像子采样格式&＃xff0c;比如4&＃xff1a;4&＃xff1a;4&＃xff0c;  4&＃xff1a;4&＃xff1a;0&＃xff0c;  4&＃xff1a;2&＃xff1a;2&＃xff0c; 4&＃xff1a;1&＃xff1a;1&＃xff0c;  4&＃xff1a;2&＃xff1a;0

首先来看一下这种格式表示方法&＃xff0c;理解了这种表示方法&＃xff0c;才能理解各个子采样格式。显而易见&＃xff0c;这种格式分为了三部分&＃xff0c;维基百科上表示为&＃xff1a;J:a:b。这时千万不要以为它代表了&＃xff0c;Y&＃xff1a;Cb&＃xff1a;Cr&＃xff0c;因为按照第一印象&＃xff0c;我们自然而然会这么认为&＃xff0c;其实完全不是这样。

这里的J也就是第一个位置&＃xff0c;它表示水平采样点数目&＃xff0c;通常我们以两行8个采样点为一个单位&＃xff0c;每行4个采样点。

第二个位置&＃xff0c;也就是a&＃xff0c;它表示4个采样点的第一行&＃xff0c;色度样本的个数。

第三个位置&＃xff0c;也就是b&＃xff0c;它表示4个采样点的第二行&＃xff0c;色度样本的个数。

当然这是默认规则&＃xff0c;对上面那几个子采样格式适用&＃xff0c;而4&＃xff1a;2&＃xff1a;1并不是按照这个规则来的&＃xff0c;不过我们也不打算介绍它&＃xff0c;因为它极少使用。下面我们就按照这个规则&＃xff0c;一一介绍&＃xff0c;规则没看懂没关系&＃xff0c;看完一个示例就懂了。这里我们需要注意&＃xff0c;每个采样点&＃xff0c;我们都需要对亮度进行采样&＃xff0c;所以规则里并没有哪个数是代表亮度的。那么为了便于分析&＃xff0c;我们从后往前介绍

4&＃xff1a;2&＃xff1a;0  YCbCr格式

对照规则&＃xff0c;第一个4代表了水平4个采样点&＃xff0c;也即一个单位的水平采样数目。第二个2代表第一行有2个色度样本&＃xff0c;第三个0代表第二行没有色度样本。如下图&＃xff1a;

                                                                       4&＃xff1a;2&＃xff1a;0 YCbCr格式的显示

对照右图&＃xff0c;可以看到左图把采样点&＃xff0c;按每4个像素作为一个显示单位&＃xff0c;它们共用一个色度。而我们通过右图就可以发现&＃xff0c;每4个采样点&＃xff0c;只有左上角那个采样点&＃xff0c;采样了色度。所以这4个采样点显示的时候&＃xff0c;它们显示的色度&＃xff0c;也是左上角那个值&＃xff0c;而亮度则各自显示各自的。这就相当于&＃xff0c;每4个像素&＃xff0c;用4个Y样本&＃xff0c;1个Cr样本&＃xff0c;1个Cb样本&＃xff0c;共6个样本来显示&＃xff0c;平均一个像素1.5个样本。它显示的实际效果&＃xff0c;就是下图这样子&＃xff1a;

4&＃xff1a;2&＃xff1a;0 YCbCr格式的显示

4&＃xff1a;2&＃xff1a;0 YCbCr格式的使用

这种子采样格式的使用非常普遍&＃xff0c;H.261、H.263和MPEG-1、MPEG-2&＃xff08;后面介绍&＃xff09;中就使用这种采样格式。不过MPEG-1和MPEG-2在实际使用的过程中&＃xff0c;对色度的取样和上面描述的有所不同。这在科学技术的发展上&＃xff0c;是很常见的事情。其中MPEG-1在对色度取样时&＃xff0c;并不是对4个采样点的坐上角那个进行取样&＃xff0c;而是通过这4个采样点的色差&＃xff0c;计算得出的Cb和Cr。

 MPEG-1等使用的4:2:0子采样格式

这点了解就好&＃xff0c;以免在看其他技术文的时候陷入误区。

4&＃xff1a;1&＃xff1a;1  YCbCr格式

从图中可以看到&＃xff0c;这种子采样格式&＃xff0c;在水平扫描线上&＃xff0c;每4个Y样本就有一个色度样本。而它在显示的时候&＃xff0c;对于没有色度样本的像素点来说&＃xff0c;它使用前后相邻的Cr和Cb样本&＃xff0c;来计算该Y样本的CbCr。这种格式&＃xff0c;是数字电视盒式磁带&＃xff08;DVC&＃xff09;使用的格式。

 4&＃xff1a;2&＃xff1a;2  YCbCr格式

这种子采样格式&＃xff0c;在水平扫描线上&＃xff0c;每2个采样点就有一个色度样本。同样&＃xff0c;在显示的时候&＃xff0c;对于没有色度样本的像素点来说&＃xff0c;它使用前后相邻的Cr和Cb样本&＃xff0c;来计算该Y样本的CbCr。而且该格式&＃xff0c;也是在ITU-R BT.601中使用的子采样格式。

 4&＃xff1a;4&＃xff1a;0  YCbCr格式

 从图中就可以看出&＃xff0c;这种子采样格式&＃xff0c;采样的是隔行采样色度样本的方式&＃xff0c;因为并不常用&＃xff0c;知道就好。

4&＃xff1a;4&＃xff1a;4  YCbCr格式

这种格式显而易见&＃xff0c;并不是子采样格式&＃xff0c;因为它的色度样本数&＃xff0c;和亮度样本数&＃xff0c;是一样的&＃xff0c;所以它就是普通的采样格式。它代表每条扫描线上&＃xff0c;每4个连续的采样点&＃xff0c;取4个亮度Y样本&＃xff0c;4个红色差Cr样本&＃xff0c;4个蓝色差Cb样本。相当于每个像素&＃xff0c;用3个样本显示&＃xff0c;也就是YCbCr都有值。所以这种格式&＃xff0c;在显示一个像素时所使用的样本数&＃xff0c;算是最多了。

下图为维基百科上&＃xff0c;这几种采样格式的显示对比图&＃xff1a;