热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

【论文笔记】面向机载应用的多传感器图像融合技术综述

在成像方面,各传感器均受一定条件的制约,同时,目标自身状态和周边环境的变化也会在单一传感器中产生较大的成像差异。按照较为严格的定义&#x

在成像方面,各传感器均受一定条件的制约,同时,目标自身状态和周边环境的变化也会在单一传感器中产生较大的成像差异。

按照较为严格的定义,图像融合是指综合和提取两个或多个多源图像信息,获得对同一场景或者目标更为准确、全面和可靠的图像,使之更加适合于人眼感知或计算机后续处理。而多传感器图像融合囊括了多个层次中信息融合所涵盖的相关处理和决策方式,其作用对象既包括不同传感器对同场景的感知解译,也包括同一传感器在一定时间区间内所获取的序列图像信息。

根据融合处理中信息合成所处的不同阶段,图像融合技术通常可大致分成三个层次:像素级融合、特征级融合、决策级融合。

(1)像素级融合

定义:待融合图像经过严格配准后对各源图像直接以像素点为单元进行信息综合与分析。像素级融合多数情况下被视为特征级融合和决策级融合的基础。目前对这种融合类型的研究最为集中。

主要任务:生成包含多源信息并具有高对比度的合成图像。

前提要求:各源图像在融合前必须进行严格配准。

不足:计算处理时间较长,对通信的带宽要求也较高。

(2)特征级融合

定义:从各源图像中提取所需要的特征信息,并将这些特征进行综合分析处理。

优势:1.保留足够重要信息的同时对信息实现有效压缩,有利于实时处理。2.有助于在各源图像中挖掘相关特征信息、增加信息维度,以建立更全面、更充分的新复合特征,用于后续的处理决策。3.对图像配准的要求不如像素级融合那样严格。

(3)决策级融合

定义:根据每个传感器数据源的可信度按一定准则对单模决策结果进行融合以得到最终的决策。可被理解为是一种全局最优决策。融合结果将为各种控制或决策提供依据。

特征:1.输入输出数据量通常低于像素级和特征级融合,也使其实时性在三者中最优。2.这种融合方式的信息损失最大。

在实际应用中融合层次并非严格按这三种方式划分,融合课相互交联以达到最佳效果。

 

  图像融合技术是将各传感器得到的图像信息进行综合分析并加以利用的过程,其数据来源于各个传感器。以下是常见的各种传感器。

 

   由于不同传感器对光谱和电磁波谱的敏感波段不同,图像融合实质上是实现多传感器宽波段覆盖探测的有效手段。

  通过将多元传感器获得的图像数据以像素点为操作单元进行融合,生成新的合成图像,从而达到视景增强的目的。图像融合的组合方式既包括非同类成像传感器信息融合,也包括同类多波段成像传感器的信息融合。

  对于直升机平台,夜间飞行员目视能力下降,若将微光夜视仪与红外热像仪成像结果进行融合,则可帮助飞行员显著提高对周边场景目标的感知和侦测能力。另外由于飞行高度较低,容易受到复杂地形和恶劣天气的影响,若将毫米波与红外成像进行融合,则有助于减轻飞行员在复杂环境下的操作负荷。对于舰载机平台,飞行员夜间目视观测仅能看到航母甲板上的跑道灯,无法直观知悉船体和海面的整体情况,若为舰载机装备着舰引导红外与可见光传感器的融合增强视景,有助于提高飞行员的着舰操作水平。当无人机执行打击后毁伤评估侦测任务时,实际战场存在大量烟雾、明火以及爆炸等较强干扰,依靠单一光学传感器难以做出正确评估,多光谱图像融合技术的优势在于可以从多维谱段对目标的毁伤状况进行综合评估,最大程度地抑制了战场环境的负面干扰源。

  利用图像拼接技术可以将多幅固定视场范围的图像拼接合成为大视场区域图像,这一技术既可应用于电子地图更新,也可应用于分布式红外传感器的全景视野显示。


  机载平台的高速运动使得光电传感器在成像时容易受到气动光学和运动模糊效应的影响,造成图像成像质量较低,场景目标不清晰。为获得尽可能高分辨率的影像,硬件改进和软件处理是常用的两种方法。

  硬件改进:提高光学系统性能、CCD 传感器密度、芯片尺寸和增大焦距等,这不仅增加了成本,而且还会增加传感器的体积和重量,不利于在机载平台上使用。

  与硬件改进相比,超分辨率重建作为一种软件处理方法,只需利用具有一定相关性的多幅序列图像之间的互补信息,采用合适的重建算法,将这些图像融合成一幅新的图像,使其分辨率比传感器源图像提高一倍以上,对场景目标的分辨能力大大增强,描绘图像细节的信息量也随之显著增大。

  
  图像超分辨率重建可视为一种基于时间域的图像融合技术,对高空高速机载平台有重要的应用价值。超分辨率重建可以为包括飞行员和地面指挥人员提供清晰的场景目标光电影像,便于正确分辨和识别敌方目标。此外,该技术也在一定程度上增加了传感器的探测距离,提高了飞机的安全性。
 
  自动目标检测与识别技术在精确制导武器系统中始终扮演核心角色,它利用计算机对前端传感器获取的信息进行处理解析,判断目标类型,并计算目标位置。
  多模图像自动目标跟踪技术是利用多传感器图像特征信息实现目标跟踪。通常它可基于像素级融合图像进行处理,也可以基于特征级和决策级融合进行跟踪。相比单模传感器自动目标跟踪技术,多模图像的优势在于它可以在全天时、全天候条件下进行。不仅如此,多传感器探测还增加了目标的特征维度,可有效克服跟踪过程中遇到的干扰,提高跟踪算法的鲁棒性。
  目前,将多传感器图像融合技术向机载应用平台推广需要解决如下问题:


(1)多源图像的配准

  不同类型的传感器具有不同的探测范围、分时间、图像分辨率、畸变模式等。图像融合首

先需要解决的问题是将各传感器图像进行像素级或区域级对准。

  通常,多源图像可以通过物理方式和软件方式进行配准。前者更多考虑传感器安装时的相对位置,这种方式仅适用于一些比较简易的场合;后者则采用配准算法实现图像间的对准,对算法的稳定性和实时性要求较高。

  目前,取得研究成果较多的同类图像配准是可见光,而红外图像和 SAR 图像的配准问题相对困难。对于异类图像,提取共性特征十分困难,这也为配准带来了很大难度。当然,异类图像工程上也可通过物理对准或间接配准等方式来解决,但攻克多源图像配准这一难题是图像融合技术应用的前提。

(2)算法运行效率的提高

  实际上,机载平台的信息处理能力是有限的,在设计融合算法时,需要根据实际应用环境合理安排串行与并行计算模块,还要结合图像融合的层次和策略来考虑。此外,对于处理器和存储器的选择,需要兼顾安装成本与效能。

(3)图像融合策略的选取
  不同的使用需求需要考虑有针对性的传感器组合才能达到效果,某些情况下多传感器融合性
能可能不及单传感器。目前,特征的组合方式有串联模式、并联模式、线性相关模式和非线性相关模式等。
(4)传感器性能的提升
多传感器图像融合的信息来源于各传感器的探测信息,因此传感器的性能水平决定了最终的融合效果。

 

 


推荐阅读
  • 本文深入探讨了MySQL中常见的面试问题,包括事务隔离级别、存储引擎选择、索引结构及优化等关键知识点。通过详细解析,帮助读者在面对BAT等大厂面试时更加从容。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 最近团队在部署DLP,作为一个技术人员对于黑盒看不到的地方还是充满了好奇心。多次咨询乙方人员DLP的算法原理是什么,他们都以商业秘密为由避而不谈,不得已只能自己查资料学习,于是有了下面的浅见。身为甲方,虽然不需要开发DLP产品,但是也有必要弄明白DLP基本的原理。俗话说工欲善其事必先利其器,只有在懂这个工具的原理之后才能更加灵活地使用这个工具,即使出现意外情况也能快速排错,越接近底层,越接近真相。根据DLP的实际用途,本文将DLP检测分为2部分,泄露关键字检测和近似重复文档检测。 ... [详细]
  • 网易严选Java开发面试:MySQL索引深度解析
    本文详细记录了网易严选Java开发岗位的面试经验,特别针对MySQL索引相关的技术问题进行了深入探讨。通过本文,读者可以了解面试官常问的索引问题及其背后的原理。 ... [详细]
  • 2018年3月31日,CSDN、火星财经联合中关村区块链产业联盟等机构举办的2018区块链技术及应用峰会(BTA)核心分会场圆满举行。多位业内顶尖专家深入探讨了区块链的核心技术原理及其在实际业务中的应用。 ... [详细]
  • 深入解析Redis内存对象模型
    本文详细介绍了Redis内存对象模型的关键知识点,包括内存统计、内存分配、数据存储细节及优化策略。通过实际案例和专业分析,帮助读者全面理解Redis内存管理机制。 ... [详细]
  • 云计算的优势与应用场景
    本文详细探讨了云计算为企业和个人带来的多种优势,包括成本节约、安全性提升、灵活性增强等。同时介绍了云计算的五大核心特点,并结合实际案例进行分析。 ... [详细]
  • 本文作者分享了在阿里巴巴获得实习offer的经历,包括五轮面试的详细内容和经验总结。其中四轮为技术面试,一轮为HR面试,涵盖了大量的Java技术和项目实践经验。 ... [详细]
  • ZooKeeper集群脑裂问题及其解决方案
    本文深入探讨了ZooKeeper集群中可能出现的脑裂问题,分析其成因,并提供了多种有效的解决方案,确保集群在高可用性环境下的稳定运行。 ... [详细]
  • 精选多款高效实用软件及工具推荐
    本文介绍并推荐多款高效实用的软件和工具,涵盖系统优化、网络加速、多媒体处理等多个领域,并提供安全可靠的下载途径。 ... [详细]
  • 计算机网络复习:第五章 网络层控制平面
    本文探讨了网络层的控制平面,包括转发和路由选择的基本原理。转发在数据平面上实现,通过配置路由器中的转发表完成;而路由选择则在控制平面上进行,涉及路由器中路由表的配置与更新。此外,文章还介绍了ICMP协议、两种控制平面的实现方法、路由选择算法及其分类等内容。 ... [详细]
  • 本文探讨了Hive中内部表和外部表的区别及其在HDFS上的路径映射,详细解释了两者的创建、加载及删除操作,并提供了查看表详细信息的方法。通过对比这两种表类型,帮助读者理解如何更好地管理和保护数据。 ... [详细]
  • 深度学习理论解析与理解
    梯度方向指示函数值增加的方向,由各轴方向的偏导数综合而成,其模长表示函数值变化的速率。本文详细探讨了导数、偏导数、梯度等概念,并结合Softmax函数、卷积神经网络(CNN)中的卷积计算、权值共享及池化操作进行了深入分析。 ... [详细]
  • 历经三十年的开发,Mathematica 已成为技术计算领域的标杆,为全球的技术创新者、教育工作者、学生及其他用户提供了一个领先的计算平台。最新版本 Mathematica 12.3.1 增加了多项核心语言、数学计算、可视化和图形处理的新功能。 ... [详细]
  • 由中科院自动化所、中科院大学及南昌大学联合研究提出了一种新颖的双路径生成对抗网络(TP-GAN),该技术能通过单一侧面照片生成逼真的正面人脸图像,显著提升了不同姿态下的人脸识别效果。 ... [详细]
author-avatar
手机用户2702932821
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有