【专题8:摄像头】之【2.摄像头硬件】

1&＃xff0c;摄像头数据采集和显示的流程

自然景观 —> 摄像头模块 —> 接口 —> 开发板的摄像头控制器 —> LCD显示

摄像头模块和摄像头模组是同一个意思。
 

2&＃xff0c;CMOS摄像头

图像传感器可以将光信号&＃xff08;模拟信号&＃xff09;转换为对应的电信号&＃xff08;数字信号&＃xff09;&＃xff0c;这也是CCD和CMOS的由来。CCD和CMOS是图像传感器的感光元件。

随着这几年的技术发展&＃xff0c;基本上CMOS技术已经占据了绝对优势&＃xff0c;CMOS技术的前景也远远好于CCD。CMOS更省电&＃xff0c;读取更快&＃xff0c;容易制造&＃xff0c;成本更低&＃xff1b;之前CCD所拥有的噪点少&＃xff0c;颜色深&＃xff0c;感光度高等优点随着CMOS技术的发展正一个个消失&＃xff0c;只有在某些专业领域还在使用CCD。

由CMOS传感器组成的摄像头称为CMOS摄像头&＃xff0c;我们现在看到的摄像头基本是CMOS摄像头。

CMOS传感器简称CIS&＃xff0c;CMOS image sensor&＃xff0c;如今的CIS内部都内嵌了一个ISP图像信号处理器&＃xff0c;一般是一颗DSP芯片&＃xff0c;可以对图像数据进行初步分析处理。

图像传感器的成像原理&＃xff08;了解&＃xff09;&＃xff1a;

图像传感器将投射到图像传感器上的光信号转换为电信号&＃xff0c;之后再通过ADC以数字信号的形式输出给ISP。

图像传感器由数以千万计的光电二极管组成&＃xff0c;每一个光电二极就是我们常说的一个像素。但图像传感器中的光电二极管只能记录光的强度&＃xff08;这个文件也就是RAW文件&＃xff0c;它是通过传感器得到的最原始的图像文件&＃xff0c;里面只有强度值&＃xff0c;没有颜色值&＃xff09;&＃xff0c;不能记录光的颜色&＃xff0c;那么&＃xff0c;要怎么才能记录光的颜色呢?

不同的相机厂商的RAW文件格式各不相同&＃xff1a;

1974年&＃xff0c;布莱斯.拜耳发明了拜耳滤镜&＃xff0c;简单来说&＃xff0c;就是在每个光电二极管上覆盖红、绿或蓝三种颜色中的一种颜色滤镜。

一个覆盖了红色滤镜的光电二极管只能让红光通过&＃xff0c;这个二极管就只记录了红色光的强度&＃xff0c;接着&＃xff0c;拜耳又发明了拜耳组合&＃xff0c;一个最基础的拜耳组合由2个绿色、一个红色和一个蓝色&＃xff0c;共四个带拜耳滤镜的光电二极管组成2x2的结构。

通过多个拜耳组合就可以构成拜耳阵列&＃xff0c;也就构成了图像传感器的感光器件。

由于发明了拜耳滤镜和拜耳阵列&＃xff0c;布莱斯.拜耳被称为“数码影响之父”。

这样就可以得到三幅最原始的图像&＃xff0c;每幅图像都只有红绿蓝中的一种颜色&＃xff0c;再将他们叠加在一起。

叠加在一起看到的图像并不是真实的图像&＃xff0c;而是有很多的类似马赛克的东西&＃xff0c;这时就需要ISP通过一定算法&＃xff0c;譬如降噪和锐化&＃xff0c;将其还原为真实的图像&＃xff0c;这个过程称为解马赛克。

&＃xff08;1&＃xff09;图像传感器厂商
a.索尼&＃xff1a;商品名Exmor&＃xff0c;编号为IMX***&＃xff0c;譬如IMX586。
b.三星&＃xff1a;商品名ISOCELL&＃xff0c;编号一般S开头的6位字符&＃xff0c;譬如S5KGM1。
c.OmniVision&＃xff08;豪威科技&＃xff08;国产&＃xff09;&＃xff09;:貌似没有商品名&＃xff0c;编号一般为OV*****&＃xff0c;譬如OV16885。

&＃xff08;1&＃xff09;CMOS摄像头组成&＃xff1a;

把上面5个部分组合在一起&＃xff0c;就组成了一个摄像头模组。把镜头拆掉&＃xff0c;就可以看到CMOS sensor。

把CMOS sensor取下来&＃xff1a;

sensor部分是最核的心部件&＃xff0c;它是一块芯片/传感器。

通过旋转镜头可以控制进入到CMOS传感器中的光的截面积。
 

3.信号的输入与输出格式

CMOS摄像头的输入信号&＃xff1a;自然景观等的模拟信号。
CMOS摄像头的输出信号&＃xff1a;RGB或RAW RGB或YUV格式的数字信号。
 

4.摄像头一些比较关键的参数

以OV7740为例&＃xff1a;
&＃xff08;1&＃xff09;能输出的数据格式&＃xff1a;RGB、RAW RGB、YUV

问&＃xff1a;RGB和YUV分别是什么&＃xff1f;
RGB和YUV是两种完全不同的颜色空间&＃xff0c;他们直接可以相互转换。 详细介绍可以查看文章【专题3&＃xff1a;电子工程师 之 上位机】 之 【40.音视频基础概念 &＃xff08;b&＃xff09;】。

&＃xff08;2&＃xff09;能输出的像素大小
a. VGA&＃xff1a;表640 * 480的分辨率
b. QVGA&＃xff1a;表示240 * 320的分辨率
c. CIF&＃xff1a;表示352 * 288的分辨率

&＃xff08;6&＃xff09;有效感光阵列的大小&＃xff1a;656 * 488
&＃xff08;7&＃xff09;镜头的大小&＃xff1a;1/5寸
&＃xff08;8&＃xff09;像素点颗粒的大小&＃xff1a;4.2um * 4.2um

注&＃xff1a; 6、7、8三个参数都是用来描述感光阵列的。

什么是感光阵列&＃xff1f;

图中有颜色的部分就是感光阵列&＃xff0c;把它提取出来后如下图所示&＃xff1a;

从上图可以看出&＃xff0c;感光阵列就是一个一个的颗粒&＃xff0c;每个颗粒只能感受一种颜色&＃xff0c;把红绿蓝组合在一起&＃xff0c;就可以合成世间所有颜色。每个颗粒的尺寸大小就是像素点颗粒的大小。

所有的感光颗粒组成的感光阵列的尺寸大小就是镜头的大小&＃xff0c;也就是1/5寸。

有效感光阵列的大小&＃xff1a;表示每一行有656个颗粒&＃xff08;像素&＃xff09;&＃xff0c;每一列有488个颗粒&＃xff08;像素&＃xff09;。656 * 488 &＃61; 320128 ≈ 30万&＃xff0c;也就是这个摄像头有30万的像素。

同一种像素大小的摄像头&＃xff0c;其尺寸也可能会不同&＃xff0c;这对摄像头的拍摄效果有什么影响呢&＃xff1f;

譬如同为30万像素的摄像头&＃xff0c;如果它的镜头尺寸大小越小&＃xff0c;那么对应的像素点颗粒的大小就越小&＃xff0c;从而感光性就越差&＃xff0c;进而拍摄的效果就越差。

&＃xff08;8&＃xff09;输入的时钟频率&＃xff1a;6 ~ 27 MHz
即OV7740摄像头模组的工作频率范围&＃xff0c;工作频率也就是系统时钟。

&＃xff08;9&＃xff09;扫描模式&＃xff1a;
扫描模式有两种&＃xff0c;隔行扫描和连续扫描。

连续扫描&＃xff1a;一幅图片&＃xff0c;从左到右&＃xff0c;从上到下&＃xff0c;依次扫描&＃xff0c;直到扫描到最后。譬如一部电影为720P&＃xff0c;这里的P就是连续扫描的意思。

隔行扫描&＃xff1a;一幅图片&＃xff0c;第一次从左到右&＃xff0c;只扫描偶数行&＃xff0c;第二次再从左到右&＃xff0c;只扫描奇数行&＃xff0c;也就是一幅图片一共扫描两次。譬如一部电影为1080I&＃xff0c;这里的I就是隔行扫描的意思。
 

5&＃xff0c;数据的转换过程

以OV7740为例&＃xff1a;

数据的转换过程指&＃xff1a;CMOS摄像头是如何将模拟信号转换为数字信号的。下图为数据转换过程框图。

框图组成&＃xff1a;
&＃xff08;1&＃xff09;第一部分&＃xff0c;image sensor core&＃xff0c;简称isc&＃xff1a;
摄像头sensor只能感知&＃xff08;采集&＃xff09;红绿蓝三种颜色的信号&＃xff0c;isc负责采集三颜色数据&＃xff0c;并使用运算放大器将其放大&＃xff0c;最后通过一个A/D转换器&＃xff0c;将模拟信号转换为数字信号&＃xff0c;这里的数字信号就是RAW RGB格式的数字信号。

RAW RGB和RGB的区别&＃xff1a;
RAW RGB指只有红绿蓝三种颜色的数据&＃xff0c;或者说只能表示红绿蓝三种颜色的数据&＃xff1b;而RGB指&＃xff1a;除了能表示红绿蓝三种颜色&＃xff0c;才能表示由红绿蓝三种颜色组成的任意颜色。

&＃xff08;2&＃xff09;第二部分&＃xff0c;image sensor precessor&＃xff0c;简称isp&＃xff1a;
图像数据处理&＃xff0c;里面有一个最核心的部件&＃xff1a;dsp。

ISP有两种含义&＃xff0c;图像处理器和图像处理&＃xff0c;前者是名词&＃xff0c;是一个具体的器件&＃xff0c;后者是一个动词&＃xff0c;指图像处理的过程。

现代ISP&＃xff0c;还会集成各种各样的功能性模块&＃xff0c;如协处理器、AI加速单元、缓存等&＃xff0c;可以把它理解为一颗SoC。它具有自动曝光、自动白平衡、镜头的自动对焦、暗角和畸形的自动修复矫正以及人脸识别等功能。

此外&＃xff0c;通过集成视频解码模块到ISP中&＃xff0c;也可以实现对视频录制的支持。

ISP会根据图像传感器记录的数据&＃xff0c;输出成一张张图片&＃xff0c;每张照片为视频中的一帧图像&＃xff0c;之后再通过视频解码器将这些图片合成为视频。一般是以H.264或H.265编码记录。

自动白平衡(AWB)、自动曝光(AE)和自动对焦(AF)功能称为视频监控A3算法。

&＃xff08;3&＃xff09;第三部分&＃xff0c;image output interface&＃xff0c;图像输出单元&＃xff0c;简称ioi&＃xff1a;
第二步处理的数据会传到这里进行输出。

各部分都做了哪些核心工作&＃xff1a;
&＃xff08;1&＃xff09;isc部分&＃xff1a;
对图像的翻转&＃xff0c;增益大小跳转&＃xff0c;黑电平校准&＃xff0c;饱和度的控制、OTP存储器&＃xff08;里面存储了厂家信号&＃xff0c;芯片信息&＃xff09;。

&＃xff08;2&＃xff09;isp部分&＃xff1a;
a.提供测试功能&＃xff1a;如果将摄像头设置为测试模式&＃xff0c;它会直接把isc屏蔽掉&＃xff0c;直接产生以下图像数据给isp使用。

b.镜头补偿功能

c.自动白平衡校准功能

d.颜色空间的转换功能&＃xff1a;将RGB转换为YUV格式数据

e.将RAW RGB格式数据转换为RGB格式数据

f.窗口功能&＃xff1a;将采集到的原始图片进行裁剪

g.缩小放大功能

以上功能都是通过isp中的dsp单元完成处理的&＃xff0c;如果要研究各个功能的实现细节&＃xff0c;就需要阅读摄像头的芯片手册&＃xff0c;研究isp章节。

&＃xff08;3&＃xff09;ioi部分&＃xff1a;
a.设置输出的数据格式&＃xff1a;是RAW RGB、还是RGB、还是YUV格式。

b.输出的面积是多少&＃xff1a;是VGA、还是QVGA。

c.通过什么方式进行数据传输&＃xff1a;是BT601方式&＃xff0c;还是BT656方式传输&＃xff0c;这其实就是和SoC摄像头控制器的接口。

问&＃xff1a;以上的处理过程&＃xff08;尤其是isp部分&＃xff09;&＃xff0c;是摄像头模组自动完成的吗&＃xff1f;需不需要人为设置什么&＃xff1f;

以上的处理过程&＃xff0c;绝大部分都是需要我们人为设置后&＃xff0c;才能完成。

问&＃xff1a;怎么对它们进行设置&＃xff1f;

通过查询数据手册上写明的特性&＃xff08;features&＃xff09;可以看到&＃xff0c;摄像头模组通过标准的SCCB总线接口和外部进行通信的&＃xff0c;SCCB总线就是指I2C总线。

总结&＃xff1a;
我们可以通过I2C总线对摄像头模组进行设置&＃xff0c;让其输出我们想要的数据。摄像头模组里面有很多的寄存器&＃xff0c;通过I2C总结对其进行读写。
 

6&＃xff0c;摄像头硬件接口

&＃xff08;1&＃xff09;IICSDA&＃xff1a;i2c总线的数据线
&＃xff08;2&＃xff09;IICSCL&＃xff1a;i2c总线的时钟线

&＃xff08;3&＃xff09;CAMRST&＃xff1a;camera reset&＃xff0c;摄像头复位引脚
&＃xff08;4&＃xff09;CAMCLK&＃xff1a;摄像头模块的系统时钟&＃xff0c;譬如OV7740设置为24MHz

接下来的引脚就和LCD的引脚类似了。
&＃xff08;5&＃xff09;CAM_HREF&＃xff1a;行同步信号。
&＃xff08;6&＃xff09;CAM_VSYNC&＃xff1a;帧同步信号。
&＃xff08;7&＃xff09;CAM_PCLK&＃xff1a;像素时钟。
&＃xff08;8&＃xff09;CAMDATA0 - CAMDATA7&＃xff1a;数据总线

类比&＃xff1a;摄像头通过摄像头接口传数据和LCD通过LCD接口传数据的形式完全一样的。

总结&＃xff1a;CMOS摄像头的接口分类两类&＃xff1a;
a.第一类是控制类&＃xff0c;也就是i2c总线&＃xff1b;作用&＃xff1a;初始化摄像头&＃xff0c;让摄像头模块正常的输出摄像头数据&＃xff1b;控制&＃xff1a;设置亮度、旋转、缩放等操作。

b.第二类是数据传输类&＃xff0c;与LCD的接口完全一样。

总结&＃xff1a; CMOS摄像头模式&＃xff0c;本质上就是一个i2c设备&＃xff0c;需要给它写符合i2c设备的驱动&＃xff0c;从而实现初始化和灵活地控制。

7.SoC摄像头控制器

以S3C2440为例&＃xff1a;

SoC摄像头控制器的输入&＃xff08;在其数据手册中有写明&＃xff09;&＃xff1a;
&＃xff08;1&＃xff09;支持BT601或BT656
&＃xff08;2&＃xff09;支持最大分辨率&＃xff1a;4096 * 4096
&＃xff08;3&＃xff09;只支持8bit的YUV格式

问&＃xff1a;BT601和BT656的传输方式有什么区别&＃xff1f;

BT601有独立的行同步信号线&＃xff0c;有独立的帧同步信号线。而BT656是将这两种信号内嵌到数据中。

但是摄像头模块采集的数据的规格为&＃xff1a;648 * 480、BT601方式传输。

所以需要设置SoC摄像头模块的相关寄存器来告诉SoC摄像头控制器输入源的信号规格。

摄像头控制器接收到数据之后&＃xff0c;首先通过窗口功能进行裁剪&＃xff0c;裁剪之后的数据有两种处理方式&＃xff1a;

&＃xff08;1&＃xff09;进入预览通道&＃xff0c;预览通道的图像分辨率比较小&＃xff0c;只有640 * 480&＃xff0c;同时也可以进行缩放或旋转&＃xff08;譬如旋转90°&＃xff09;或颜色空间转换&＃xff1b;有一个专门的DMA通道&＃xff0c;设置好后&＃xff0c;可以直接将图像数据转移到内存的指定地方&＃xff0c;这个指定的内存称为缓存。预览通道只能支持RGB16/24格式的数据。

&＃xff08;2&＃xff09;进入编码通道&＃xff1a;可以进行缩放&＃xff0c;然后进行编码&＃xff0c;能处理最大4096 * 4096大小分辨率的图像。这里也有一个专门的DMA&＃xff0c;称为编码DMA&＃xff0c;也是将处理后的数据转移到内存的指定地方。输出的数据格式为YCbCy420或YCbCy422。

总结&＃xff1a;
要把摄像头采集到的数据在LCD上进行显示&＃xff0c;只需要把缓存中的数据拷贝到LCD的显存中就可以了。而对图像数据的缩放或旋转等操作&＃xff0c;都可以操作SoC摄像头控制器来完成。

SoC摄像头控制器的中断信号&＃xff1a;

&＃xff08;1&＃xff09;采集第0帧数据
在第1帧的帧同步信号产生下降沿时&＃xff0c;产生一个irq&＃xff0c;在irq函数中可以去处理第0帧的数据

&＃xff08;2&＃xff09;采集第1帧数据
在第2帧的帧同步信号产生下降沿时&＃xff0c;产生一个irq&＃xff0c;在irq函数中可以去处理第1帧的数据
.
.
.

从以上分析可以看出&＃xff0c;要想理解或写整个linux摄像头驱动&＃xff0c;需要熟悉I2C驱动&＃xff0c;平台驱动&＃xff0c;LCD驱动以及V4L2驱动。
 

8.驱动组成

从上面的内容中可以了解到&＃xff0c;CMOS摄像头其实就是一个i2c设备&＃xff0c;所以我们需要写一个linux i2c设备驱动&＃xff0c;通过这个驱动来控制摄像头模组&＃xff0c;让其输出我们想要的规格的图像&＃xff0c;譬如让其输出分辨率为640 * 480、帧率为30fps的YUV格式数据&＃xff0c;并通过BT601方式往外输出。

同时&＃xff0c;SoC摄像头控制器可以支持很多种规格的摄像头&＃xff0c;所以要通过配置SoC摄像头控制器的寄存器让其适配我们接入到开发板的摄像头&＃xff0c;也就是把控制器的数据输入格式&＃xff08;这里设置为YUV格式&＃xff09;&＃xff0c;接口方式&＃xff08;这里设置为BT601&＃xff09;等等。

只有摄像头模块和SoC摄像头控制器都匹配了&＃xff0c;控制器才能正确接收摄像头的数据。

所以这里需要写一个平台设备驱动。