计算成像的原理与应用研究

成像&＃xff0c;我在讲傅里叶光学的知乎文章中简单谈了一下。

成像本身是在对待测样品的分布进行观测&＃xff0c;也就是看它长什么样&＃xff0c;以人眼为例&＃xff0c;人眼作为成像系统&＃xff0c;不论看什么东西&＃xff0c;首先视网膜作为接收端接收了一幅图像&＃xff0c;尽管我们觉得我们看到的图像是连续的&＃xff0c;但是事实上视网膜一定有一个个像元&＃xff0c;我们看到的图像是一个矩阵&＃xff0c;矩阵中的每个元素代表相应位置像元接收光的强度&＃xff0c;它本身是一个强度的响应&＃xff0c;或者说一个神经刺激&＃xff0c;然后这些神经刺激经过大脑的整理&＃xff0c;最终呈现出看到的图像&＃xff0c;然后再通过对图像的分析&＃xff0c;知道一些列信息&＃xff0c;比如看到了谁&＃xff0c;看到他在干什么&＃xff0c;通过左右眼不同的图像&＃xff0c;又能分析出来看到东西有多远等等的结果。

计算成像大体也就是如此&＃xff0c;一个采集记录系统&＃xff0c;记录的数据通过处理得到其分布能够与样品对应的像&＃xff0c;用以进行后续对于具体问题的分析。

我个人比较习惯从另一个角度讨论这个问题。样品有一个分布&＃xff0c;它的分布客观存在&＃xff0c;它可以用一个图像表示出来&＃xff0c;这个是成像的前提&＃xff0c;样品分布作为成像过程待求解的结果&＃xff0c;我们不妨称之为x&＃xff0c;注意这个x不是数字&＃xff0c;可以是矩阵&＃xff08;有时候可能还是复数矩阵&＃xff09;&＃xff0c;或者说图像。我们有一个固定的采集系统&＃xff0c;当我们的样品不同&＃xff0c;采集的图像就不一样&＃xff0c;这是废话&＃xff0c;但是非常重要&＃xff0c;后面我可能单独解释一下。采集的图像和样品分布x&＃xff0c;不见得是相同的&＃xff0c;但是一定有关&＃xff0c;成立一个映射&＃xff0c;不妨称之为f()&＃xff0c;所以我直接采集的图像&＃xff0c;就叫y吧&＃xff0c;那就构成了一个关系&＃xff0c;y&＃61;f(x)&＃xff0c;那么在已知y并且已知f()的情况下&＃xff0c;求解x&＃xff0c;这就是成像过程。

如果y&＃61;1&＃xff0c;f(x)&＃61;2x&＃xff0c;那求解x就很简单的&＃xff0c;但事实上&＃xff0c;通常x比较简单且确定&＃xff0c;就是一个矩阵或者向量&＃xff08;列采集&＃xff09;甚至点&＃xff08;点采集&＃xff09;&＃xff0c;而f()可以任意复杂&＃xff0c;它可以包含很多的变换&＃xff08;传播、傅里叶变换&＃xff09;&＃xff0c;甚至它可以只是一个约束条件&＃xff0c;而并不能构成一个确定的等式&＃xff0c;那么在这种情况下&＃xff0c;或者说实际上就是这样&＃xff0c;通常求解不出正确的x&＃xff0c;真正求解出来的是x的近似&＃xff0c;或者说它的解的集合。

我引用信息的说法来解释这个问题&＃xff0c;信息论认为&＃xff0c;可以用信息熵的大小来衡量信息的多少&＃xff0c;最经典的例子&＃xff0c;预测足球赛&＃xff0c;假设所有队伍实力均等&＃xff0c;比赛开始前&＃xff0c;预测的难度最大&＃xff0c;因为可能的赛程结果有很多种&＃xff0c;它的解的空间最大&＃xff0c;且解空间中各个具体的解的概率不相上下,信息量的限制让我只能够排除掉没有参赛的球队夺冠的可能。那么随着比赛的进行&＃xff0c;有球队不断淘汰&＃xff0c;实际上冠军的可能就会落在越来越少的球队身上&＃xff0c;解的空间缩小了&＃xff0c;而如果我们知道球队的一些其他信息&＃xff0c;比如实力对比&＃xff0c;那么虽然解的空间没有缩小&＃xff0c;但是解的概率出现了不同&＃xff0c;存在一些解有更高的概率成为正确解&＃xff0c;同样可以帮助到我们的预测。

现实中的光场&＃xff0c;我们不考虑什么量子力学&＃xff0c;通常认为现实中的光场都是连续的&＃xff0c;相当于一个可以用于表示样品分布的矩阵&＃xff0c;像元尺寸无穷小&＃xff0c;像元个数无穷多&＃xff0c;这样才能把这个光场表示的清楚。但是现实是&＃xff0c;采集器只能是离散的&＃xff0c;采集器上每一个像元采集的都不是无穷小的范围&＃xff0c;而是一个尽可能小的范围上的光场的强度的和或者说积分。我们采集并重建得到的有限像元数的图像&＃xff0c;实际上都可以看做一个理想精确的解的解集合&＃xff0c;算法上来说可以把它变成一个像元尺寸任意小&＃xff0c;像素数任意多的图像&＃xff0c;相当于对于精确解的估计值&＃xff0c;是存在于当前信息量下的解集中的一个解。

存在一类计算成像方法&＃xff0c;它们可以实现所谓光场的成像&＃xff0c;比如全息&＃xff0c;其本质就是既能对样品或者说目标场的振幅分布进行成像&＃xff0c;也可以对目标场的相位进行成像&＃xff0c;并且还有一个附加功能&＃xff0c;即可以预测目标场传播到任意位置的分布的成像&＃xff0c;这一类方法我后面会列举很多种进行比较具体的介绍。但是需要知道&＃xff0c;这类方法都面临一个共同的问题&＃xff0c;不论图像采集器如何先进&＃xff0c;对于一个复数振幅的光场&＃xff0c;采集器都只能采集强度&＃xff0c;它的相位必须通过一种实验或者计算的方法来得到。

前面的东西都是铺垫&＃xff0c;我希望借着这些内容&＃xff0c;通过分享一些具体的成像案例&＃xff0c;来介绍我所认为的计算成像。

直接成像

我这里说的直接成像&＃xff0c;并不是一个严格的概念&＃xff0c;我只是想泛指一类成像&＃xff0c;就是直接采集的图像就已经是或者是接近最终的成像结果&＃xff0c;不需要经历某种变换或者过多的矫正&＃xff0c;典型的就是我们平时的拍照。我想很多人现在应该都知道&＃xff0c;平时用的数码相机上不是只有图像采集器&＃xff0c;它是一定要有透镜或者透镜组的&＃xff0c;通常的直接成像实验中&＃xff0c;用不带镜头的图像采集器&＃xff0c;成像系统也要添加相应的透镜之类的元件。它们想要建立的映射就是f(x)&＃61;x,而采集图像实际上并不是样品长什么样&＃xff0c;确切的说应该是人眼接收面放在图像接收面上透过透镜组看样品的方向所看到的样子,以我讲过的4f系统为例&＃xff0c;后透镜的后焦面是样品的一个清晰成像面&＃xff0c;也就意味着&＃xff0c;再该平面上采集的分布会接近或者近似等于样品平面上的分布。

数字全息成像

通常来说&＃xff0c;全息都属于相干成像&＃xff0c;也就是说光源要使用相干光源&＃xff0c;以确保能在接收平面产生有效的光的干涉&＃xff0c;干涉其实指的就是所谓的相干叠加。现实的光场是复振幅分布&＃xff0c;采样器接收的就是这个复振幅分布的模的平方

&＃xff0c;如果是同时记录两束非相干光&＃xff0c;不考虑干涉&＃xff0c;那么接收到的就是

,如果换成相干光&＃xff0c;就变成了

&＃xff0c;以一个一维信号举例&＃xff1a;

畸变样品信号相同&＃xff0c;在载波信号不同的情况下采集的强度和也不相同。对于相干成像&＃xff0c;

可以展开成

&＃xff0c;这个式子的后两项可以看出&＃xff0c;不论拿出这两项的哪个单独来看&＃xff0c;都不是强度分布&＃xff0c;但是由于其中项的复共轭关系&＃xff0c;两者相加的结果一定是强度&＃xff0c;而通常全息的做法&＃xff0c;就是用一种办法分离出后两项中的一项&＃xff0c;然后让它乘以参考光或者参考光的共轭&＃xff0c;使之仅剩下与样品复振幅O有关的部分。离轴全息的方法&＃xff0c;就相当于让后两项在全息图上拥有高频的载频&＃xff08;干涉条纹&＃xff09;&＃xff0c;反应在频域上就是这两项在频谱空间分别被移动在了对称的位置&＃xff0c;这与通信信号处理中在频谱上一个频段加载信息的做法本质上是一样&＃xff0c;这两项在频谱上只要分离了&＃xff0c;就可以利用算法的方式将其滤波&＃xff0c;取想要的信息用于重建。同轴数字全息&＃xff0c;没有干涉条纹&＃xff0c;后两项的分离就要依靠一些手段&＃xff0c;比如多帧的采集&＃xff0c;帧间有已知的变化&＃xff0c;通过这些变化所能提供的指导来计算消除其余三项&＃xff0c;具体的有如相移法等。

全息的方法可以得到样品的复振幅分布&＃xff0c;以透射为例也就是透过率和相位分布&＃xff0c;实际上求解出的相位分布取决于到达图像采集器平面时两束光之间的光程差&＃xff0c;也就是说全息方法求解的相位&＃xff0c;实际上反映了样品的某些会影响光程差的特点&＃xff0c;如透射型样品的厚度&＃xff0c;折射率&＃xff0c;反射样品的摆放位置等。

叠层成像

这种成像方法很新&＃xff0c;是近几年才提出的成像方法&＃xff0c;和全息一样属于对光场复振幅分布的成像。

叠层方法的实验系统相对来说比较简单&＃xff0c;除了照明光源和图像采集&＃xff0c;它通常不需要借助透镜&＃xff0c;只需要待测样品和用于限制光束尺寸的方式&＃xff08;如小孔、透镜等&＃xff09;。

它的大致思想是这样&＃xff0c;光源的光通过小孔后照在样品的某一个位置上&＃xff0c;最后成像在记录平面上&＃xff0c;得到一个强度分布&＃xff0c;不妨称之为

,随后可以移动小孔或样品的位置&＃xff0c;照明样品的第二个标定位置&＃xff0c;即

...由于没有透镜&＃xff0c;实际上拍摄的东西都是衍射图&＃xff0c;它相当于

,n表示小孔在第几个位置。样品分布只有一个&＃xff0c;而它对每一个小孔位置&＃xff0c;都能采集到相应的强度分布&＃xff0c;

,不同的小孔位置对应的样品区域必须有重叠&＃xff0c;其实这个条件等用于待测样品必须唯一&＃xff0c;

即便单纯的从解方程的方向考虑&＃xff0c;对于每个区域的光场&＃xff0c;都是振幅相位两个相互独立的数值需要求解&＃xff0c;那么相应的也都需要至少两个有效的已知关系&＃xff0c;因此必须要求带求解的有效区域位于小孔位置的重叠区域。

有方程组了&＃xff0c;接下来就是具体的求解&＃xff0c;或者说重建过程。通常的重建算法&＃xff0c;先假设待测的分布是一个常数图像或者随机图像&＃xff0c;也就是和待测样品暂时还毫无关系的猜测结果&＃xff0c;这样一个

&＃xff0c;我可以计算模拟它穿过第一个小孔位置成像在探测器平面的振幅&＃xff08;强度开根号&＃xff09;是什么样&＃xff0c;一模拟&＃xff0c;发现跟我实验拍

对应的振幅不一样&＃xff0c;哪个准呢?当然以实验拍摄为准&＃xff0c;因此用我用我拍摄的强度开根号来替换它&＃xff0c;再传播回待测的样品平面&＃xff0c;得到一个更新的

&＃xff0c;再去按照

的方式去传播&＃xff0c;所有小孔对应的传播完也就算作一疗程&＃xff0c;这个过程通常要重复上几个疗程。

整个重建过程&＃xff0c;可以看成是一个在众多约束条件下的求解&＃xff08;或解空间&＃xff09;&＃xff0c;而基于这个想法&＃xff0c;可以预测一个结论&＃xff0c;也就是越多个小孔重叠对应的区域复振幅求解结果可能也会越准确&＃xff0c;因为用于求解它的参数&＃xff08;信息&＃xff09;会更多一些。

除了叠层成像之外&＃xff0c;还有一种有些类似的技术&＃xff0c;叫做傅里叶叠层&＃xff0c;类比的来说&＃xff0c;傅里叶叠层就是对目标光场的频谱分布进行叠层成像。样品本身存在唯一解&＃xff0c;那它所对应的频谱分布也就是唯一解。它的实验设置就通过一个照明光的阵列&＃xff08;LED阵列&＃xff0c;非相干&＃xff09;&＃xff0c;每个光源分别照明样品采集图像&＃xff0c;相当于从不同的方向进行照明&＃xff0c;照明光的方向不同&＃xff0c;也就是说光的幅角有所不同&＃xff0c;也就相当于不同照明光所对应的光场分布之间具有固定的相移&＃xff0c;学过傅里叶光学的话&＃xff0c;可能会知道一个结论&＃xff0c;两个函数或者分布之间的空域有位移/相移&＃xff0c;那么它们对应的频谱之间应当有相应的相移/位移&＃xff0c;也就是说&＃xff0c;在不同照明光下采集的数据&＃xff0c;实际上它们的频谱对应的是目标频谱上的不同区域&＃xff0c;相当于在频谱上放一个叠层的小孔进行采集&＃xff0c;而这个孔径就对应系统的截止频率。傅里叶叠层的重建方法也就是对目标频谱进行叠层重建的过程&＃xff0c;它直接得到的是待测样品的频谱复振幅分布&＃xff0c;进行逆傅里叶变换即可得到相应的光场复振幅分布。

像素超分辨

一般认为光学系统&＃xff08;不考虑采样&＃xff09;都有一个成像分辨率的极限&＃xff0c;一般沿用瑞利极限&＃xff0c;超分辨一般指用某种手段来进行能够超过瑞利极限分辨率的成像&＃xff0c;不过这里我要介绍的像素超分辨。像素超分辨所要打破的是采集器的像素数和像元尺寸的限制。对于一个图像而言&＃xff0c;它可以仅用一个像素来表示&＃xff0c;那也就是图像各像素点值的平均&＃xff0c;那么在这个单像素的图像上&＃xff0c;也就很难看到图像分布&＃xff0c;也无法判断图像对应的样品到底是什么&＃xff0c;当我像素数增多&＃xff08;视场大小不变&＃xff09;&＃xff0c;相应的图像有效信息也就增多了&＃xff0c;像素数越多&＃xff0c;越具备展现细节的能力&＃xff0c;但是要求每个像素的点值都是准确的&＃xff0c;而不能是估测值。

假设系统用一个像素个数确定的图像采集器对样品直接成像&＃xff0c;假设就是3*3的图像&＃xff0c;那么必然存在一种9*9的分布可以用于表示这个样品&＃xff0c;问题是&＃xff0c;当我采集了3*3的图像&＃xff0c;如何估计9*9的图像&＃xff1f;假设3*3图像上一个像素的值为x&＃xff0c;那么它所对应的区域在9*9图像上则表示为九个像素值&＃xff0c;

到

&＃xff0c;那么唯一的已知条件就是

&＃xff0c;已知所有

&＃xff0c;可以轻松求解

,但是已知

则很难求解

的组合。

因此通常的像素超分辨方法&＃xff0c;会先上采样待处理的图像&＃xff0c;先达到目标的尺度&＃xff0c;但是此时的图像的分布还并不准确&＃xff0c;需要更多的已知条件&＃xff0c;或者说约束条件来进行填充。典型的方法如亚像素位移&＃xff0c;对样品多次采集&＃xff0c;每次采集位置之间相差很小的距离&＃xff0c;这个距离已知&＃xff0c;其在亚像素级别&＃xff0c;拍m张低分辨率的图像&＃xff0c;x的数量增多了&＃xff0c;且各自具有已知的差异&＃xff0c;就可以联立方程组&＃xff0c;在这种情况下&＃xff0c;符合约束条件的y的分布数量也就减小&＃xff0c;也就可以得到更为精确的高分辨率结果。具体的实施方法通常在此就不再过多介绍&＃xff0c;感兴趣的同学可以了解例如POCS,MAP等等算法。

OCT

OCT(optical coherent tomography,光学相干层析)&＃xff0c;跟前面的成像方式有一种本质性的不同&＃xff0c;在OCT系统中&＃xff0c;实际上探测器直接采集的是样品的变换域的强度分布&＃xff0c;它虽然叫相干层析&＃xff0c;实际上使用的是低相干的光源&＃xff0c;并且要利用这种低相干的特征。OCT系统通常对反射样品进行成像。

与全息类似的&＃xff0c;OCT的系统需要两路光&＃xff0c;分别为照明样品的物光与用于干涉的参考光&＃xff0c;光源低相干&＃xff0c;也就是说照明光中的波长并不单一&＃xff0c;表现在光谱上有展宽&＃xff0c;同样由于低相干&＃xff0c;物光和参考光只在它们之间光程小到一定范围的情况下发生干涉&＃xff0c;在发生干涉的范围内&＃xff0c;光程差越接近于0&＃xff0c;干涉的条纹频率越低。参考光的光程确定&＃xff0c;假设样品为部分反射平面镜&＃xff08;可能没这么个东西&＃xff0c;为了方便理解&＃xff09;&＃xff0c;与参考光的光程差确定且已知&＃xff0c;那么此时这个平面上反射的光越多&＃xff0c;相应的频率的干涉就越明显&＃xff0c;也就是说形成的干涉条纹对应的正弦分布的振幅就越大&＃xff0c;有了这两个条件&＃xff0c;也就能够确定如何用OCT系统采集到的干涉图进行成像&＃xff0c;不同位置反射光与参考光干涉形成了不同频率&＃xff0c;不同振幅的干涉条纹&＃xff0c;频率与光程差相关&＃xff0c;也就是与拍摄点的轴向位置相关&＃xff0c;而振幅与相应的反射率相关&＃xff0c;这些干涉条纹加在一起&＃xff0c;如何分离&＃xff1f;同样在讲傅里叶光学的时候&＃xff0c;说到了傅里叶变换的一个重要功能&＃xff0c;加在一起的各频率成分&＃xff0c;其傅里叶变换域上会相互分离&＃xff0c;也就是说&＃xff0c;对采集的OCT干涉图进行傅里叶变换&＃xff0c;那么它的各空间频率实际上对应了各分布所在的轴向位置&＃xff0c;而各频率分布的振幅高低&＃xff0c;表示了这个位置上的反射势的大小&＃xff0c;因此也就计算出来样品的反射势分布。

OCT按照具体做法分为很多种&＃xff0c;但是其基本原理都是如此&＃xff0c;实际上有很多成熟的医学造影技术&＃xff0c;其基本原理都是一样&＃xff0c;如MRI&＃xff08;核磁共振&＃xff09;&＃xff0c;CT&＃xff0c;B超等等&＃xff0c;只是使用的信号载体有所不同以及相应使用的设备有所不同&＃xff0c;应用场景有所不同&＃xff0c;其成像原理并没有差异。

总结一下&＃xff0c;说了很多种成像方法&＃xff0c;都没有介绍的太详细&＃xff0c;我只是想通过这些谈一谈我个人对于计算成像的看法&＃xff0c;也就是把成像过程看成是在解方程&＃xff0c;在我看来这是成像方法的一个基础框架&＃xff0c;而套用这个框架&＃xff0c;在分析成像系统时&＃xff0c;首先可以判断是否可解&＃xff08;像素超分辨如果只有单帧&＃xff0c;即一个方程多个未知数&＃xff0c;应当无法得到很精确的解&＃xff09;&＃xff0c;其次可以根据这套逻辑&＃xff0c;搞清楚已知的和待求解的是什么&＃xff08;既可以通过已知图像和系统推测样品&＃xff0c;也可以通过已知样品和成像推测系统&＃xff0c;甚至可以已知样品和系统预测成像&＃xff09;&＃xff0c;总之&＃xff0c;仅借此文&＃xff0c;传达个人的一点想法。

最后&＃xff0c;标志性的例行重申&＃xff0c;我希望我的科普文章面向的人群是一些非专业感兴趣的人&＃xff0c;或者本科生即将接触这些内容&＃xff0c;或者学完没学懂&＃xff0c;甚至刚读研相关专业但是甚至对这些核心课程都缺乏入门级认识的人&＃xff0c;可以定性的先了解一下&＃xff0c;再在此基础上填充血肉去深度了解或者进入科研工作&＃xff0c;当然也欢迎专业的大佬来批评指正&＃xff0c;因此这次写的内容包括很多个人的主观认识&＃xff0c;所以其实非常需要有大佬来批评指正。同样如果反响好或者说如果有反响的话&＃xff0c;我还会以这个标准再写更多光学方面各个课程科普入门级别的文章。今后应该还会更新一些其他的成像方法&＃xff0c;如果内容中有哪些部分我理解的不准确&＃xff0c;还请各位大佬批评指正。