第10卷 第4期2017年8月
中国光学
ChineseOptics
Vol.10 No.4
Aug.2017
收稿日期:2017 03 07;修订日期:2017 04 14
基金项目:国家林业公益性资助项目(No.201204515);吉林省自然科学基金项目(No.20150101017JC);中国科学院
青年创新促进会资助项目(
No.2016201)SupportedbyNationalForestryPublicWelfareFoundationofChina(No.201204515);NaturalScienceFounda tionofJinlinProvinceofChina(N
o.20150101017JC);YouthInnovationPromotionAssociation,CAS(No.2016201)
文章编号
2095 1531(2017)04 0438 11图像增强算法综述
王 浩1,2
,张 叶1,2
,沈宏海1,2
,张景忠
3
(1.中国科学院航空光学成像与测量重点实验室,吉林长春
130033;2.中国科学院长春光学精密机械与物理研究所,吉林长春130033;3.黑龙江省森林保护研究所,黑龙江哈尔滨
150040)摘要:
图像增强算法能够提高图像整体和局部的对比度,突出图像的细节信息,使增强后的图像更符合人眼的视觉特性且易于机器识别,在军事和民用领域具有广泛的应用。本文从图像增强算法的原理出发,归纳总结了近年来应用比较广泛的4类图像增强算法及其改进算法,包括直方图均衡图像增强算法、小波变换图像增强算法、偏微分方程图像增强算法和基于Retinex理论的图像增强算法。结合人眼视觉特性、噪声抑制、亮度保持和信息熵最大化等图像增强的改进算
法,在保证增强图像具有较高对比度的前提下,可进一步提升图像的质量。实现了
9种较为典型的图像增强算法,采用主观和客观的评价方法对增强效果进行了对比,分析了不同增强算法的优缺点,并给出了这些算法的计算时间。对这些算法的深入研究能够推动图像增强技术向更高水平发展,从而使图像增强技术在多个学科领域发挥重要作用。关 键 词:图像增强;直方图均衡;小波变换;偏微分方程;Retinex理论
中图分类号:TP394.1 文献标识码:
A doi:10.3788/CO.20171004.0438Reviewofimageenhancementalgorithms
WANGHao1,2 ,ZHANGYe1,2,
SHENHong hai1,2
,ZHANGJing zhong3
(1.KeyLaboratoryofAirborneOpticalImagingandMeasurement,ChineseAcademyofSciences,
Changchun130033,China;
2.ChangchunInstituteofOptics,FineMechanicsandPhysics,ChineseAcademyofSciences,
Changchun130033,China;
3.HeilongjiangForestProtectionInstitute,Harbin150040,China)
Correspondingauthor,E mail:
wanghao7600@163.comAbstract:Imageenhancementalgorithmscanenhancecontrastbetweenthewholeandpartialimages,
andhighlightthedetailsofimages.Italsocanmaketheenhancedimagesmoreinlinewiththevisualcharacteris ticsofthehumaneyesanditappliestomachineidentification,
whichhasawiderangeofapplicationsinmili taryandcivilianfields.Basedontheprincipleofimageenhancementalgorithm,
fourtypesofimageenhance
mentalgorithmsandtheirimprovedalgorithmsaresummarizedinthispaper.Thesealgorithmsincludehisto gramequalizationimageenhancementalgorithm,wavelettransformimageenhancementalgorithm,
partialdif ferentialequationimageenhancementalgorithmandRetineximageenhancementalgotithm.Theseimprovedal gorithms,whichcombinethehumanvisualcharacteristics,noisesuppression,brightnesspreservingandinfor mationentropymaximization,canfurtherimprovethequalityofimagesinadditiontoenhancingthecontrast.Inthispaper,ninetypicalimageenhancementalgorithmsareimplemented,andtheirenhancementeffectsarecomparedwithsubjectiveandobjectiveevaluationmethods.Theadvantagesanddisadvantagesoftheseen hancementalgorithmsareanalyzed,andthecalculationtimeofthealgorithmsaregiven.Thestudyontheseal gorithmscanpromotetheimageenhancementtechnologytoahigherlevel,soastomaketheimageenhance menttechnologyplayanimportantroleinmanyfields.
Keywords:imageenhancement;histogramequalization;wavelettransform;partialdifferentialequation;Ret inextheory
1 引 言
图像增强是指按照某种特定的需求,突出图像中有用的信息,去除或者削弱无用的信息。图鲁南战役
像增强的目的是使处理后的图像更适合人眼的视觉特性或易于机器识别。在医学成像、遥感成像、人物摄影等领域,图像增强技术都有着广泛的应用[1]。图像增强同时可以作为目标识别,目标跟踪,特征点匹配,图像融合,超分辨率重构等图像处理算法的预处理算法。
图像增强应该注意以下几方面:(1)提高图像整体和局部的对比度。图像增强算法应该既能使图像整体的对比度提高,同时也能使图像的局部细节信息得到增强。(2)在增强图像的同时,应该避免放大噪声。如果不能有效地抑制噪声,噪声在图像增强过程中就会被放大,从而对图像质量造成影响。(3)增强后的图像应该具有良好的视觉效果。避免增强后的图像局部增强过度或过弱,增强后的图像应该符合人眼的视觉特性。(4)图像增强算法应该具有较好的实时性。随着近年来嵌入式产品的快速发展,对图像增强算法的实时性要求也越来越高。因此,为了满足工程上使用的要求,图像增强算法应该具有较好的实时性。
最近30多年,出现了众多的图像增强算法。应用比较广泛的图像增强算法有直方图均衡(HE)算法、小波变换算法、偏微分方程算法和基于色彩恒常性理论的Retinex算法等。HE算法是最基本的图像增强算法,它的原理简单,易于实现,实时性好。HE算法通过使图像灰度级的概率密度函数(PDF)满足近似均匀分布的形式来达到增大图像动态范围和提高图像对比度的目的[2 4]。有许多基于HE算法的改进算法,他们都具有各自的特色,如:双直方图均衡(BBHE)算法,它解决了增强图像局部区域亮度不均匀的问题[5];等面积双直方图均衡(DSIHE)算法和二维空域信息熵直方图均衡(SEHE)算法,他们使增强后的图像具有最大的信息熵,在一定程度上解决了HE算法造成的图像细节信息丢失的问题[6 9];最大亮度双直方图均衡(MMBEBHE)算法保证了增强图像与原始图像的亮度均值误差最小[7];基于对数函数映射的直方图均衡(LMHE)算法使得增强后的图像更符合人眼的视觉特性[8];小波变换图像增强(WT)算法将图像分解为低频图像和高频图像,通过对不同频率的图像进行增强达到了突出图像细节信息的目的[10 17]。采用knee函数和gamma校正函数来增强低频图像可以有效地提高图像的整体亮度[18]。通过增强小波域内定义的图像对比度和图像的奇异矩阵也能取得较好的增强效果[19 20]。将曲波变换与小波变换相结合,可以有效去除小波变换图像增强过程中产生的噪声[21]。偏微分方程(PDE)图像增强算法通过放大图像的对比度场来达到图像增强的目的[22 27]。采用全变差模型(TotalVaria tionModel)的偏微分方程图像增强(TVPDE)可
934
第4期 王 浩,等:图像增强算法综述
使增强后的图像既具有较高的对比度,又与原始图像的差别不大,保留了图像的细节信息[28]。此外,针对偏微分方程图像增强算法中的梯度函数的改进算法也有很多,且都取得了很好的增强效果[26][29]。Retinex图像增强算法通过去除原始图像中照度分量的影响,求解出了反映物体本质颜色的反射分量,达到了图像增强的目的[30 35]。在马尔科夫随机场(MRF)下求解物体的反射分量,能够有效地消除因照度不均而产生的“光晕伪影”现象[36]。结合交替方向优化(ADO)应用快速傅里叶变换(FFT)可以同时计算出物体的照度分量和反射分量,使Retinex图像增强算法的计算结果具有更好的稳健性[37]。用稀疏表示方法将物体的反射分量函数表示出来,再使用学习字典对含有图像细节信息的反射分量进行学习,也可以取得较好的增强效果[38]。
本文详细介绍了4类典型的图像增强算法及其改进算法的实现原理,并对采用相似原理的增强算法进行归纳;然后采用主观和客观的评价方法从多个方面对不同增强算法的处理结果进行对比,并给出不同增强算法的执行时间。
血浓于水是什么意思2 图像增强算法介绍
2.1 直方图均衡算法
若一幅图像的像素点倾向于占据整个可能的灰度级并且分布均匀,则该图像表现为具有较高的对比度和较大的动态范围[2]。HE算法根据这一特性,利用累积分布函数(CDF)将指定的输入灰度级映射为输出的灰度级,使输出的灰度级具有近似均匀分布的概率密度函数,从而达到提高图像对比度,拉大图像动态范围的目的[3]。
2.1.1 标准直方图均衡算法
假设I∈I(i,j)代表灰度级为L的图像,
苹果饼I(i,j)代表坐标位置(i,j)处的灰度值,I(i,j)∈[0,L-1],图像I灰度级的概率密度函数定义为:
p(k)=nkN,(k=0,1,…,L-1),(1)式中,N为像素点的总数,nk表示灰度级为k的像素点的个数。图像I灰度级的累积分布函数定义为:
c(k)=∑ki=0p(i),(k=0,1,…,L-1).(2)
标准直方图均衡算法通过累积分布函数将原始图像映射为具有近似均匀灰度级分布的增强图
像,相应的映射关系为:
f(k)=(L-1)×c(k).(3)
标准直方图均衡算法的原理简单,实时性好。但增强后的图像亮度不均,且会出现因灰度级合
并而导致的部分细节信息的丢失[4]。
2.1.2 直方图均衡算法的改进
基于亮度均值保持的BBHE算法是对标准直方图均衡算法的改进[5],针对标准直方图均衡算法会使增强后的图像亮度不均匀这一缺点。
BBHE将原始图像I的亮度均值作为阈值,将原始图像划分为2个子图IL和IU,两个子图满足条件
I=I
L
∪IU,IL∩IU= ,再分别对两个子图进行直方图均衡。
等面积双直方图均衡(DSIHE)算法将原始图像灰度值的中值作为阈值,将原始图像划分为2个子图[6],再分别对这两个子图进行直方图均衡。DSIHE算法可以使增强图像具有较大的信息熵,解决了标准直方图均衡算法易造成图像信息丢失的问题。最大亮度双直方图均衡(MMBE
BHE)算法同样属于双直方图均衡算法的一种[7],选取的阈值使得增强图像的亮度均值和原
始图像的亮度均值误差最小。
基于对数函数映射的直方图均衡(LMHE)算法将对数函数作为直方图均衡算法的累计分布函数[8],对数函数符合人眼视觉特性的Wever Fech ner规律。累计分布函数定义为:
f
lg(k
)=lg[k×(λ-1)+1]
lg[(L-1)×(λ-1)+1]
,(4)式中,k为输入灰度级。对式(4)求导,可以得到相应的概率密度p(k)。将p(k)
时间计算作为直方图均衡算法概率密度函数的修正,使相应的累计分布函数近似满足对数函数的形式,从而使得增强后的图像具有更好的视觉效果。
针对直方图均衡算法中累计分布函数的改进算法还有二维空域信息熵的直方图均衡(SEHE)算法[9]。SEHE算法首先将图像划分为M×N个子区域,然后分别计算每个子区域像素点灰度级的概率密度hk,接下来计算各个灰度级在M×N
daisy香水
044
中国光学 第10卷
个子区域中二维信息熵的和:Sk
=-∑M
m=1∑N
n=1
hk
(m,n)log2
[hk
(m,n)],(5)计算每个灰度级的二维信息熵和其他灰度级的二维信息熵的关系为:fk=Sk
/∑L-1
l=0,
l≠k
Sl
.(6) 将fk
归一化后,SEHE算法的累计分布函数定义为:
Fk
=∑k
l=0
fl
,(7)根据累计分布函数可以将原始图像映射为增强图像。SEHE算
法在提高图像对比度的同时能够最大限度地保留图像的细节信息。
2.2 小波变换图像增强算法
小波变换(Wavelettransform,WT)和Fourier
变换一样,是一种数学变换。它的基本思想是用一族函数去表示或逼近某一信号,这一族函数称为小波函数系。小波函数系用小波函数ψ(
x)和尺度函数φ(
x)来表示,定义为[10
]:f(x)=∑k
cj
0(k)φj0,k
(x)+∑
j=j0
∑k
dj(k)ψj,k
(x),(
8)式中,j0
为任意一个起始的尺度,cj0
(k)为
尺度系数,dj
(k)为小波系数。2.2.1 标准小波变换图像增强数字图像可以看作是一个离散的二维信号f(x,y),通过二维离散小波变换(DWT)可以对其进行分解和重构[11
]。标准小波变换图像增强(WT)将图像分解为1个低通子图像和3个具有方向性的高通子图像,高通子图像包括水平细节图像、垂直细节图像和对角细节图像[12 13
]。低通子图像代表图像中的低频信息,对应图像中较平滑的区域。高通子图像代表图像中的高频信息,对应图像中的细节信息。通过使用各种增强算法对不同频率系数进行增强,可以提高图像的对比度,突出图像的细节信息[14 15
],还可以对某一范围内的频率系数进行增强,实现图像中感兴趣区域的增强。小波变换图像增强的步骤如下:
(
1)读入原始图像。(2)对
原始图像进行小波分解,得到图像的低频成分和高频成分。(3)对word设置目录
小波系数进行非线性增强,函数关系式满足:Wo
=Wi+G×(T-1)
,Wi
>TG×Wi,|Wi
|≤TWi-G×(T-1)
,Wi
<-T{
,(9)式中,G为小波系数增强倍数,T为小波系数阈值,Wi为图像分解后的小波系数,Wo
为增强后的小波系数。(4)将
增强后的小波系数进行小波逆变换,得到重构后的增强图像。
小波变换图像增强算法通过增强小波系数可以有效地凸显图像中的细节信息,但在凸显图像细节信息的同时应注意图像亮度的保持。值得注意的是,小波变换图像增强算法容易放大图像中的噪声,如何有效地抑制噪声也是需要解决的一个关键性问题[16 17
]。2.2.2 小波变换图像增强算法的改进用小波变换将原始图像分解为不同频率的图像后,可以用各种方法对不同频率的图像进行增强。基于knee函数和gamma校正的小波变换图像增强(KGWT)算法采用改进的knee函数和
gamma变换函数来对低频系数进行增强[18
],再将增强后的低频系数与高频系数组合,最后利用小波反变换得到增强后的图像。KGWT算法达到了提高图像整体亮度和对比度的目的。knee函数和gamma校正函数相结合后的变换函数为:p(x)=x, x<t
(ax3+bx2+cx+d)γ
,x≥t{,(10)式中,a,b,c,d均为系数,t为阈值,γ为gamma变换参
数。文献[19]提出了基于对比度熵的小波变换图像增强算法,在对图像进行小波分解后,对图像的低频成分采用直方图均衡的方法增强,对图像的高频成分通过最大化对比度熵来达到增强的目的,最后通过小波重构得到增强后的图像。对比度
熵的定义为:H=-∑PlgP,(11)式中,P为小波域内图像的相对对比度。文献[20]通过增强小波分解后得到的低频图像的奇异值矩阵,同样也实现了较好的增强效果。文献
1
44第
4期
王 浩,等:图像增强算法综述
[21]
采用了小波变换与曲波变换(Curvelettrans form)相结合的方法实现了边缘保持的图像增强,具体方法为:首先利用曲波变换的特点在不损失图像边缘细节信息的同时去除噪声,然后再用小波变换对图像进行增强。2.3 偏微分方程图像增强算法偏微分方程(Partialdifferentialequation,PDE)是微分方程的一种,如果一个微分方程中出现多元函数的偏导数,那么这种微分方程就是偏微分方程。数字图像从某种意义上可以看作是一个以像素点位置坐标为自变量的二元函数f(x,y),其中(x,y)∈Ω=0≤x≤N-1,0≤y≤M-1{},图像I中像素点位置(x,y)处的偏导数定义为:
gx= f(x,y) x=f(x+1,y)-f(x,y),(12)gy
= f(x,y)
y=f(x,y+1)-f(x,y).(13) 点p∈Ω处
两个方向的偏导数组成了在该坐标点处的梯度,用向量VI
(p)=[gx
gy
]T
表示。
图像上每一点处的梯度的集合构成了该图像的一个二维梯度场,也称为对比度场。它反映了图像上任一点附近区域对比度的变化情况,对比度变化的快慢用梯度大小表示,对比度变化的方向用
梯度的方向表示[22 23
]。通过放大图像的对比度
场可以达到图像增强的目的
[24 25
]。2.3.1 标准偏微分方程图像增强假设VI′
(p)和VI
(p)分别为两幅图像I′和I的对比度场,若VI′
(p)与VI
(p)在每一点上具有相同的梯度方向,但前者的大小均大于后者,则图像I′应该比I具有更高的对比度,可以将I′看作是I的增强图像。因此,对图像I的
标准偏微分方程图像增强(
PDE)可以描述为寻找图像I′,且满足下面的关系:
VI′
(p)=k·VI诗字拼音
(p)( p∈Ω)
,(14)式中,VI′(p)为增强后图像的对比度场;k为
增强因子,一般情况下k>1,但k不能太大,否则噪声
将会被严重放大。对于方程(14),图像I是已知
的,其解为:
I′(p)=k·I(p)+ ( p∈Ω),(15)式中, 是一个与坐标无关的常数。很显然,这样解出来的增强图像I′(p)的
动态范围是原始图像I(p)的k倍
。对于一般的可以在计算机屏幕上显示的数字图像,其动态范围为0~255。因
此,由方程(15)求解出来的增强图像I′(p)必须经过处
理。对增强图像I′(p)的
对比度场加入约束,然后再进行求解。加入动态范围约束后,方程(
15)转化为寻找二维函数f(p),其中f(p)∈[0,
255],p∈Ω,使得公式(16)取
得最小值:∫∫Ω
f(
p)-VI′
2
dΩ.(16) 这
是一个泛函极值问题,可采用变分法对其进行求解[26
]。变分法的求解过程参见文献[27]。2.3.2 偏微分方程图像增强改进采用全变差模型(Totalvariationmodel)的偏
微分方程图像增强(TVPDE)[28
]是
对偏微分方程图像增强的一种改进算法,采用TVPDE算法可使增强后的图像既有较高的对比度,又与原始图像差别不大,保留了图像的细节信息。全变差模型采用:
E=∑x∈f
哨组词
(Ed
+Eg
),(17)式中,Ed
为数据代价函数,Eg
为梯度代价函数。他们的定义如下:
Ed
=λd
(f-ν)2
,(18)Eg
=λg
[(fx
-Gx
)
2
+(fy
-Gy
)2
]2
,(19)
式中,λd
和λg
为控制参数,f为待求解图像的梯度场,fx
为待求解图像x方向的梯度场,fy
为
待求解图像y方向的梯度场,ν为原始图像的梯度场,Gx
和Gy
为
增强后图像的梯度场。TVPDE的基本思想就是找到一个二维函数f(p)满足方程(
18)和方程(19),并使得式(17)中的E取
得最小值。其中f(p)∈[0,255]
。基于偏微分方程图像增强算法中的梯度函数的改进算法也有很多。为了进一步突出图像的纹理细节信息,文献[29]在公式(14)的基础上,提出了新的梯度函数:
S=1-cos‖ u‖-ba-b·π()[]·a2· u
‖ u‖
,(20)式中, u为
原始图像的梯度,a为梯度模的最大值,b为梯度模的最小值。采用新的梯度函数可使梯度场从[b,a]增大到[0,a]。为了不将原本很大的对比度过分放大,同时保
证细微的对比度得到充分放大,文献[26]选取了
2
44
中国光学
第
10卷