超分辨率复原技术的发展
The Development of Super2Re solution Re storation from Image Sequence s
1、引言
在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。
（图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,有道英语翻译在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目
标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率(super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。）
（我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极限相应的截止频率处,而不能超越它,这样截止频率之外的能量和信息被无可奈何的丢失了。超分辨率图像复原就是试图复原截止频率之外的信息,以使图像获得更多的细节和信息。超分辨率复原技术在遥感、视频、医学和公安等领域具有十分重要的应用价值和广阔的应用前景。例如在遥感应用中,通过利用超分辨率复原技术twinkle是什么意思,在不改变卫星图像探
测系统的前提下,可实现高于系统分辨率的图像观测。正因为如此,超分辨率图像复原在近年
来已成为国际上图像复原领域最为活跃的研究课题,）
（图像分辨率是图像质量的重要指标,分辨率越高weigh,细节越精细,图像提供的信息越丰富。在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等应用中,都需要高分辨率图像。由于受成像系统物理条件和天气条件的影响误解英文,在成像过程中常常存在光学和运动模糊、下采样和噪声等退化过程,使实际得到的图像质量较差、分辨率低。这可通过减小像素尺寸、改变探测元排列方式和超分辨率图像恢复等方式提高图像分辨率。由于目前成像系统几乎都达到了不导致曝光退化的最小像素尺寸[1 ] ,因此对减小像素尺寸的方法技术和经济成本要求较高。将成像系统探测元的正方形排列方式改成梅花形、超模式或六边形排列,虽然可将图像空间分辨率分别提高2倍、2 倍或2 3 倍[2 ] ,但在应用上通过探测元排列方式提高分辨率不容易实现。相比较通过融合图像序列中信息提高图像分辨率的超分辨率图像恢复方法既经济又容易实现。）
(在数字图像的采集与处理过程中,有许多因素会导致图像分辨率的下降,主要表现为模糊、噪声和变形。造成模糊的因素有很多,如传感器的形状和尺寸、光学仪器的性能(如点扩散
函数: PSF)引起的光学模糊以及采集对象的运动带来的运动模糊。另外,在成像、传输、存储过程中,会引入不同类型的噪声(如高斯、椒盐噪声等) ,且其引入方式也不同(加性或乘性噪声) ,这都会直接影响到图像的分辨率。此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱交叠,使获取的图像因变形而发生降质,尤其是经过压缩的图像,会产生量化噪声和编码效应等。图1所示为图像的降质过程。提高图像分辨率最直接的办法就是提高采集设备传感器的密度,然而高密度的图像传感器(如CCD)的价格相对昂贵,在一般应用中难以承受;另一方面,成像系统受其固有传感器排列密度的限制,目前已接近极限[ 1 ]。提高图像分辨率的另一方法是提高芯片尺寸,但这将导致电容的增加和电荷转移速度的下降。一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高,即超分辨率SR( super2resolution)重建,它利用多帧图像序列进行处理,提取图像序列中附加的空域和时域信息,生成一幅高分辨率HR ( high2resolution)图像。若利用一个滑动窗口对多帧低分辨率LR ( low2resolution)图像序列进行处理,则可以生成HR图像序列。化妆培训课程SR重建技术的优点是不涉及硬件,成本低,现有的图像系统还可以使用,是一种比较经济的方案。由于SR重建技术可以克服图像系统内在分辨率
的限制,改进图像处理中大多数图像的性能安全管理目标,因而这一技术在视频、成像、遥感、医学、监控
和军事等领域具有十分重要的应用,具体有如下几个方面:)
(图像超分辨率技术的应用很广泛。就目前来看，图像超分辨率技术已经应用到遥感技术应用领域中的资源调查、土地划界、植被监测、农作物和灾害监测等环节，应用在社会公共安全领域中的银行、机场、交通路口等公共场合的安全监控和刑事犯罪侦破等环节以及医学领域中的检测识别和定位精度等等。该项技术还可以很好应用于工业自动化控制领域，机器人视觉领域，天文观察、多光谱成像、超声成像等领域，具有很重要的理论研究意义和实用研究价值。)
1、超分辨率复原技术的含义
许多成像系统,如红外成像仪和CCD 照相机等,在采集宽快速视场图像的过程中,受其固有的传感器阵列排列密度的限制,图像的分辨率不可能很高;同时欠采样效应又会造成图像的频谱交叠,使获取的图像因变形效应而发生降质(理论依据是奈奎斯特采样定理) 。虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽度,使获取的图像有可能避免变形效应的发生,但这要求光学元件与传感器阵列进行有效组合,这在实际应用场合中是很难做到的。如果采用增加传感器阵列密度的办法来提高图像分辨率和消除变形效应,则费用可能很
昂贵或者很难实现。解决这一问题的一个有效办法就是超分辨率复原技术。这种方法的目的就是由一些低分辨率变形图像女生祛痘(或视频序列) 来估计一幅较高分辨率的非变形图像,同时还能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。大多数超分辨率复原方法是从经典的单帧图像复原技术发展而来的。单帧图像复原技术经过几十年的研究,逐步形成了一套统一的理论框架。虽然单帧图像复原技术的研究还远未成熟,但这类方法的固有局限性严重阻碍了图像复原效果的大幅度提高。在传统的单帧图像复原问题中,因为只有一幅输入图像上的信息可以利用,图像复原和分辨率增强效果受到极大
的限制,而在超分辨率复原方法中,可以利用图像序列中的附加空域时域信息,这样就能够重建超过任何一幅低分辨率图像带宽的超分辨率图像。
（超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图象序列) 换取空间分辨率,实现时间分辨率向空间分辨率的转换。由于超分辨率重建利用多帧图象序列进行处理,能提取序列图象中的附加空域时域信息,使得重建视觉效果超过任何一帧低分辨率图象的超分辨率图象成为可能。但超分辨率并不能创造奇迹,它也不是万能的,单帧或序列图象中子像素信息的提取是以其本身存在场景的额外信息为前题的,因此只有在多帧图象中存在非冗余信息的情况下,才能进行图象超分辨率重建。）
3 超分辨率复原技术的类型
超分辨率复原技术主要分成两类方法:频域方法和空域方法。频域方法实际上是在频域内解决图像内插问题,其观察模型是基于傅里叶变换的移位特性[1 ] 。频域方法有以下优点:理论简单;运算复杂度低;很容易实现并行处理;具有直观的去变形超分辨率机制。但这类方法还存在以下缺点:只能局限于全局平移运动和线性空间不变降质模型;包含空域先验知识的能力有限。所以目前这类方法不再成为研究的主流。
（3. 1 频率域方法频率域方法是图象超分辨率重建中的一类主要方法,目前采用的主要是消混叠重建方法(Re2construction via Alias Removal) 。消混叠重建方法是通过解混叠而改善影像的空间分辨率,进行超分辨率重建,最早的研究工作是由Tsai 和Huang 在1984 年进行的。在原始场景信号带宽有限的假设条件下,利用离散Fourier 变换和连续Fourier 变换之间的平移、混叠性质,给出了一个由一系列欠采样观测影像数据重建HR 影像的公式,使得多帧观察图象经混频的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来,方程组的解就是原始场景的频率域系数,再利用求解的频率域系数进行傅立叶逆变换就可实现原始场景的精确重建,该方法要求图象间位移参数的估计达到子像素精度,而且每
一帧观察图象都必须只对方程组中的一个不相关的方程作出贡献。Tsai&Huang 的方法具有计算简单的优点,但不足之处在于模型没有考虑光学系统的点扩散函数PSF、运动模糊和观测噪声的影响。由于模型建立在整体平移的基础上,缺少灵活性,从而限制了在大多数实际情况下频率域方法的适用性。Tekalp ,Ozkan 和Sezan 针对Tsai&Huang 方法的限制, 于1992 年提出一种改进的方法, 对Tsai&Huang 的方法进行了扩展,该方法的模型中包括了线性平移不变的点扩散函数LSI PSF (Linear
Shift Invariant) 和观测噪声。Tekalp 在《数字视频处理》中用整整一个章节介绍了超分辨率技术,对频率域方法进行了说明,并对能包含场景移动、光学和系统点扩散函数影响的各种观察模型进行了讨论,Tsai&Huang 方法及Tekalp 等人对Tsai&Huang 方法的扩展都在该书中得到了体现,但从试验结果来看并没有取得有意义的新成果。Kaltenbacher 和Hardie 于1996 年在Tsai&Huang 算法的基础上提出了另一种估计帧间整体平移参数的解算方法,该方法最主要的贡献在于计算整体平移时与Tsai&Huang 方法相比有重大的进步,对提高计算效率方面有很大的帮助。Lucas 等提出了一种基于数据驱动的稳健计算方法,该方法具有较少的计算复杂度,便于用硬件进行实现。后来还出现了用递归最小二乘方法以及基于多通道采样定理的方法,但总的说来,这些方法都只是对Tsai&Huang 方法的改进, 都存在着与Tsai&Hu
ang 方法中整体平移假设这一相似的缺点,通过混叠解混叠方法进行超分辨率重建的理论目前仍然没有取得重大突破。）
在空域类方法中,其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样、压缩赝像以及其他一些内容。空域方法具有很强的包含空域先验约束的能力,例如马尔科夫随机场和凸集等先验约束,这样在超分辨率复原过程中可以产生带宽外推。空域方法主要包括非均匀空域样本内插法everlast[2 ] 、迭代反投影方法[3 ] 、集合理论复原方法(凸集投影POCS ) [4 ] 、统计复原方法(最大后验概率估计器长颈鹿美语MAP 和最大似然估计器ML) [5 ] 、混合MAPPPOCS 方法[6 ] 以及自适应滤波方法[8 ] 等。
迭代反投影方法开阔眼界英文( IBP) 是首先用输出图像的一个初始估计作为当前结果,并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像,低分辨率模拟图像与实际观测图像的差值称为模拟误差,根据模拟误差不断更新当前估计。迭代反投影方法通过观测方程使超分辨率复原与观测数据匹配,但这种方法的超分辨率重建结果不惟一,而且把先验约束引入到这种方法中也不是一件容易的事情。
