第28卷第3期2021年3月
Vol.28No.3
Mar.2021电光与控制
Electronics Optics&Control
引用格式:胡易,邹立,咎世良,等•基于暗通道和伽马变换的水下图像增强[J]・电光与控制,2021,28(3):81-85.HU Y,ZOU L,ZAN S L,et al. Underwater image enhancement bad on dark channel and Gamma transfbrm[J].Electronics Optics&Control,2021,28(3):81-85.
基于暗通道和伽马变换的水下图像增强
胡易,邹立,咎世良,曹芳芳,赵猛
(山东科技大学电气与自动化工程学院,山东青岛266590)
摘要:光在水下传播存在吸收和散射现象,导致水下图像颜色失真、对比度低。为此,提出了一种基于暗通道先验和伽马变换的水下图像增强算法。首先,在RGB空间利用暗通道先验估计水下图像透射率和
大气光照值,加权处理后得到自适应补偿参数,进而对图像颜色校正。在此基础上,将增强后的RGB图像转化到HSV颜色空间,对V通道进行自适应伽马变换,提高图像的对比度。最后,在公用水下图像增强数据集(RUIE)上进行实验,并与现有增强算法进行比较。实验结果表明,所提算法显著提高了水下图像的视觉质量,优于其他相关算法。
关键词:水下图像增强;暗通道;伽马变换;颜色校正
中图分类号:TP391.41文献标志码:A dot:10.3969/j.issn.1671-637X.2021.03.016
Underwater Image Enhancement Bad on Dark
Channel and Gamma Transform
HU Yi,ZOU Li,ZAN Shiliang,CAO Fangfang,ZHAO Meng (School of Electrical and Automation Engineering,Shandong University of Science and Technology,Qingdao266590,China) Abstract:The phenomenon of absorption and scattering exists in underwater propagation of light,which may lead to the color distortion and low contrast of the underwater images.For this reason,an underwater image enhancement algorithm bad on dark channel prior and Gamma transform is propod.First of all,the underwater image transminance and atmospheric illumination are estimated by dark chann
el prior in RGB space,and the adaptive compensation parameters are obtained after weighted processing.Then,the image color is corrected.On this basis,the enhanced RGB image is transformed into HSV color space,and adaptive Gamma transform is carried out to the V-channel,thus to improve the contrast of the image.Finally, experiments are carried out on the public underwater image enhancement datat of RUIE,and comparison is made with the existing enhancement algorithms.The experimental results show that the propod algorithm significantly improves the visual quality of underwater images and is better than the other algorithms.
Key words:underwater image enhancement;dark channel;Gamma transformation;color correction
o引言
海底资源勘探、水下设施维修、海洋救援、水下目标的检测与跟踪⑴等工作需要借助大量的图像数据。摄像机在采集水下图像时受光吸收和散射的影响,图像存在颜色失真、边缘模糊和对比度低等问题。不同波长的光在水中传播时,会受到不同程度的衰减,水下
收稿日期=2020-03-10修回日期=2020-08-14
基金项目:中国博士后科学基金(2018M642680);教育部-NI产学合作协同育人项目(201801079046,201801129069,201801315017)
作者简介:胡易(1995—),男,湖北荆州人,硕士生,研究方向为图像处理与模式识别。
通讯作者:赵猛(1978—),男,zhaomeng@sdust.edu o 颜色衰减随深度变化⑵,其中蓝、绿光衰减较少,因此水下图像以蓝色或绿色色调为主。此外,水中悬浮的粒子吸收了大部分光能,造成光谱的退化效应,导致图像对比度低、模糊。
提高水下图像质量的方法一般分为两类:图像恢复技术和图像增强技术⑶。图像恢复技术通过对水下成像模型参数估计,恢复退化图像。王国霖等⑷提出基于双透射率水下成像模型的图像颜色校正,解决了水下图像的颜色失真问题,提高了图像的视觉质量;李向春等⑸提出基于透射率优化和颜色修正的水下图像增强方法,根据水下光学成像模型,解决了水下光学图像对比度低、颜色失真的问题,提高了图像对比度和清晰度;霍光尧等⑷提出基于暗通道先验和自适应颜色
海外考试网82电光与控制第28卷
校正的水下图像处理方法,有效地改善了图像的质量。图像增强技术不依赖于成像的物理模型,通过修改图像像素值来增强水下图像o IQBAL等切提出使用无监督的色彩校正方法增强低质量图像,简称
为UCM算法;邹立等閉提出视觉显著性分割和Retinex算法相结合的水下图像增强方法,提高水下非均匀光照条件下的图像清晰度;ZHANG等何提出基于色彩校正和光照调节的水下图像增强方法,简称为ISM算法;ZHANG等何提出基于图像降噪与颜色校正的水下图像增强,简称为VCIP 算法。上述处理水下图像所用方法,虽然解决了一定水域环境下图像恢复或增强问题,但部分算法运算复杂度不高,仅适用于特定环境场合,对于不同环境的水下图像,缺少自适应性。
近年来,基于深度学习的水下图像增强方法越来越多。2018年,LU等Z利用深度卷积神经网络对水下图像进行深度估计,解决了水下光散射效应的问题,实现了在低照度水下环境下的图像增强;同年丄I等问提出了一种基于弱监督颜色传递的水下图像增强方法,通过水下图像与空气图像之间的跨域映射函数来增强图像。2019年,受生成性对抗性网络(GANS)的启发,GUO 等问提出了一种用于水下图像增强的多尺度密集GAN 算法,通过引入多尺度、密集级联和残差学习策略,提高了水下图像增强的性能。2020年,LI等网提出了一种基于配对水下图像和相应参考图像的深度基线模型,来提高水下图像的视觉效果。由于深度学习算法的网络结构复杂性,在应用于特定水下环境时需要调整大量参数,环境一旦改变,需重新训练大量样本,不适用于水下图像增强处理。
针对上述算法存在的问题,结合图像恢复和增强技术,本文提出一种自适应颜色校正和提高对比度的图像增强算法,能够有效地改善图像颜色失真现象,实现水下图像自适应增强。首先,在图像暗通道估计透射率和大气光照值,进而得到自适应补偿参数校正图像颜色。然后,将RGB图像空间转化到H
SV颜色空间,在亮度V 通道中,通过估计的自适应补偿系数进行伽马变换,用来改善图像对比度,最终实现图像增强。
1水下图像颜色校正
1.1水下图像成像模型
光在水中传播,受到水中介质的吸收和散射影响,引起光的能量功率损失和光路的方向改变。MCGLAME-RY^提出了水下成像模型理论,水下图像厶(小表示为3个分量的线性叠加:1)后向散射分量禺,非目标物体散射引起的光照强度;2)直接衰减分量$,由目标物体发出的散射光照强度;3)前向散射分量乙,由目标物体反射光到达摄像机之前,小角度散射引起的光照强度。可表示为
厶(%)+D x(.x)+F X(X)(1)式中:入为图像的三通道;厶(E表示水下观测到的图像。
背景光优由入射光经过水中分布的悬浮粒子多次散射引起,与水下环境中的介质有关,定义为
=您(%)•(1-心))(2)式中:您&)为当前水下大气光照值;水下光的透射率K”)定义为2015高考分数线
f(x)(3)式中为水中的衰减系数;d(x)为成像设备到观测物体间的距离。
直接衰减光E定义为
=人(力)心)(4)式中:人仏)为待恢复图像。
前向散射分量Fa(x)表示物体以小角度散射反射的光量,由于反射光量很小,一般忽略不计。
将式(2)、式(4)代入式(1),得到水下成像模型为
厶(%)=人(%)心)+很(%)•(1-心))。⑸利用水下成像模型来估计水下光的透射率和大气光照值。
1.2估计水下光的透射率值和大气光照值
HE等[呵提出了暗通道先验去雾算法,大多数非天空区域中图像的RGB三通道中,总存在某一个通道的灰度值很低,几乎趋向于零。其暗通道先验表示为
/dalk(»)=min(min厶(y))(6)
Ae|R,G,B(ye/2(^)A
式中为水下图像中以龙点为中心的局部空间位置;厶(y)为原图像;严*(小为求得的暗通道图像。式(5)可变换为
厶O)“JO
对式(7)中的局部区域力进行最小运算,即
./.厶(y)\
mm mm—-——二
A e5R,G,B;y y J
t(%)min(min'¥刃)+1-t(^)0(8)
A e|R,G,B|y y e Z2(«)/
由暗通道先验理论知/darl(^)=0,在暗通道下水下光的透射率讥小表示为
t(X)=1-min(min全卫。(9)水下大气光照念通常假定为水下图像中亮度值最高的像素强度,然而,这种假定会由于物体自身发光产生错误结果。因此,通过计算局部区域力的最小值求解背景光对应的最亮像素值,Z作为整个图像的背景光。A x 定义为
第3期胡易等:基于暗通道和伽马变换的水下图像增强83
A x=max(min。(10)
利用估计的值作为自适应补偿系数,对图像的颜
色进行校正。
1.3图像颜色校正
水下透射率是红色光衰减的重要因素,水下大气
光穿过水下光束到达物体表面,随着传播距离的增加,
红色强度迅速衰减。针对图像像素值低的通道,通过
补偿系数提高通道像素值,实现图像颜色校正。由式
unparallel
(9)求得水下图像透射率的均值&为
K=爲•n)(11)
mercy是什么意思
式中:2”(”,y)表示图像中所有像素点的透射率值的
累加和;m与"表示图像的长与宽。由式(10)提取最
亮像素点的前0.1%,并记录其坐标,由坐标找到原图像
的像素点,将各像素通道值累加得到S”,Sg与S”。大气
光照均值公式为
N=(m■7i)/1000(12)
rA^S/N
(13)
bj,=S b/N
式中:N为原水下图像厶d,y)的总像素点个数的前
0.1%;人,心与缶为三通道大气光照均值。
由物体颜色感知空间处理模型g启发,一幅图像
3个颜色分量的平均值趋于128。对原图像颜色通道
进行调节,通过文献[17]中公式将图像颜色分量调节
到128,实现图像颜色校正。颜色校正方法丽采用分段
线性变换将图像的像素均值拉伸到128。原方法需手动
调节参数,不具有鲁棒性,同时,针对低像素图像通道,
进行像素补偿导致图像补偿过度,引起图像色偏,产生
过度增强的结果。最后,该算法用通道的最大、最小与
均值做增强处理,图像自身的偏色会影响后面求解的
值,导致图像颜色校正失败。本文做出如下改进,自适
应补偿图像的最大、最小与均值像素值,改进颜色校正
公式,即
(⑷
d=t c+A r+A b+A s(15)
式中:AL.和/二分别为图像均值与均方差;4”与/爲.
分别为补偿后的图像像素最大值和最小值M为图像
像素的自适应补偿系数。本文颜色校正公式表示为
+128 +128焦W128
点>128
(16)
式中心为颜色校正图像心=(爲-+几珈+几)/3,
几。为图像像素线性拉伸的标准为图像各通道的平
均值,几缽为图像各通道的中值,几为图像最大值/二与
最小值几"的平均值。
2水下图像伽马变换
颜色校正后的水下图像一般仍存在对比度低、亮
度不均的情况。通过自适应伽马变换(AGCWD)[19]增
强水下图像,将RGB图像转换到HSV空间,然后保持
饱和度和色度不变,对亮度通道V进行自适应伽马变
换,亮度成分可增强图像的可见度和清晰度,即
V re(x,y^V^(V(x,y)/V^y(17)
式中:兀(”,y)表示对比度增强后的图像V通道;卩"*
表示V(x,y)通道最大亮度值。对于不同环境自适应
调节7值。首先,定义概率密度函数/(卩)为
/
(V)-n)(18)
式中:%表示亮度分量为卩值所对应的像素数;m•n
表示图像中的像素总数。定义亮度的权值分布函数
尤⑴为
尤⑴=人』牛??(19)
\J max J min'
式中:九”表示/(V)的最大值;/mm表示/(V)的最小值。
将式(15)中的暗通道估计值d作为权值分布函数自
适应调节值。不同亮度对应的校正系数7表示为
”fyW
丁=1-工v(20)
z=o
式中:0表示亮度总值;将y值代入式(17),得
1=0
到伽马变换后的亮度V通道,与饱和度H和色度S分
量结合,转换到RGB色彩空间,实现水下图像对比度
增强。
3实验与分析
实验数据集来源于公用水下图像数据集(RUIE)。
数据集共4857幅图像,包含海参、扇贝、海胆、海刺等
水下生物,主要按绿色场景(4757幅)和蓝色场景(100
幅)分为两类,部分数据集图像如表1所示。实验所用
计算机的配置为CPUIntel(R)Core(TM)I7-7700HQ,
2.30GHz,RAM8GiB,在Matlab R2017a上进行仿真实
验,验证本文算法对水下图像的增强效果。为了验证
英语音素
本文算法的有效性,将本文算法的图像输出与以往研
究中提出的其他方法的结果进行对比分析。对比所用
的方法有基于图像降噪与颜色校正的ISM方法何、基
于无监督颜色模型的UCM方法m、基于色彩校正和光
84电光与控制第28卷
照调节的VCIP方法㈣。
表1实验数据集
Table1The experimental data t
选取数据集中3幅2组不同场景的图像进行增强算法的主观评价,图像分别为Greenl,Green3,Bluel,实验结果如图1所示。
(a)原水下(b)UCM(c)ISM(d)VCIP(e)本文
图像算法算法算法算法
图1图像增强效果对比
Fig.1The comparison of image enhancement effects
在RUIE数据集上比较了4种提高图像质量的方法。图1的主观结果比较表明,大多数方法能够实现水下图像增强。对于UCM算法,在Greenl图像中颜色失真,且图像亮度不均,导致图像细节丢失;Green3和Bluel图像颜色没有得到较好校正。对于ISM算法,在Greenl和Green3图像中出现色彩过饱和,伴有颜色失真现象产生;Bluel图像偏蓝。对于VCIP算法,在Greenl 和GZ图像中处理的结果出现颜色失真情况。此外,这3种方法由于固定参数设置,无法在各种环境中自适应处理。本文算法有效地解决了图像颜色失真问题,自适应调节图像增强结果,改善了图像的整体视觉效果。3.2客观评价
客观评价不同水下增强算法的性能,常用图像峰值信噪比(PSNR)、信息爛(EI)、结构相似性(SSIM)、水下彩色图像质量评价(UCIQE)度量和无参考图像主观评价分数的(NIQE)质量评价共5种参考度量来定量评估水下图像质量。峰值信噪比表示图像最大像素值与噪声的比值,图像处理后的峰值信噪比越大,图像处理效果越好;信息爛表示测量图像信息内容的丰富程度,恢复图像的爛越大,包含的信息越多,图像的质量越好;结构相似性是一种衡量2幅图像相似度的评估指标,其值越大,图像失真越小;水下彩色图像质量评价度量是评价水下图像色度、饱和度和对比度的综合指标,其输出值越大,
输出图像的质量越好;无参考图像主观评价分数的质量评价模型,在图像评估方面有着稳定性和单调性,能够有效地进行实时图像质量评价。
dothelaundry利用上述性能评估指标分别对表1中的2组水下不同场景里的6幅图像样本进行增强前后效果评估,整体评估结果如表2所示。
表2各算法图像增强效果的量化评估
Table2Quantitative evaluation of image
enhancement effect of each algorithm
指标
图像
类别
原图UCM算法ISM算法VCIP算法本文算法
dg是什么意思PSNR
蓝色
—10.5014
11.5383
11.5780
12.8568
10.5832
12.6084
11.6463
11.7523
EI
6.7316
7.43167.43547.35437.6157
蓝色 6.97647.44127.49987.32237.5966
-0.52140.56980.57430.5914蓝色-0.50810.54320.51930.5763
UQQE
蓝色
0.3691
0.3536
0.3971
0.3039
0.4167
0.4145
0.4687
0.4580
0.4816
0.4622
NIQE
蓝色
5.6384thereis
3.7657
5.5294
3.5998
5.3894
3.5658
5.1335
5.5620
如表2所示,PSNR评价指标表示值越大,图像的失真越小,ISM算法和VCIP算法部分图像保持较低的失真率,优于本文算法,UCM算法评价值稍小,图像中出现部分区域的颜色失真。EI评价指标表示图像包含的信息大小,本文算法稍优于对比算法。SSIM评价指标表示增强图像与原始图像的相似度,3种算法与本文算法评价值大致一致。UCIQE评价为水下图像色度、饱和度和对比度的综合指标,本文算法在2组水下场景下优于其他3种对比算法。NIQE评价指标更接近人眼的主观评价,其值越低,失真越小,图像的质量越好,本文算法所表现的效果优于其他对比算法。综合来看,本文算法中的PSNR指标部分(蓝色图像)稍低于对比算法,SSIM,UCIQE和NIQE评价指标稍高于其他对比算法,图像的颜色校正主观上好于其他对比算法,在图像亮度、对比度方面对比其他算法有显著提高。本文算法的量化评估结果数值在各个评价指标方面优于其他对比算法,当处理复杂图像时,在保持图像信息方面表现出较好的性能。经过处理后的图像视觉质量显著提高,实现水下图像自适应增强。
4结束语
针对水下图像颜色失真的特点,利用暗通道先验估计图像颜色通道的透射率和大气光照值,线性加权
第3期胡易等:基于暗通道和伽马变换的水下图像增强85
处理后作为自适应补偿参数,对图像进行颜色校正调节,再将RGB空间图像转化到HSV颜色空间模型,最后利用伽马变换对亮度V通道自适应调节,提高图像的对比度。实验的定性定量分析表明,所提算法针对公用水下图像数据集(RUIE)进行图像增强,显著提高了水下图像的视觉质量,与其他算法进行比较,显示出了更好的性能。由于本文只针对自然水域下的图像进行图像增强处理,在今后的工作中尝试进行人工光源下的图像增强。
参考文献
[1]WANG J H,ZHAO M,ZOU L,et al.Fish tracking bad
on improved TLD algorithm in real-world underwater envi
ronment[J].Marine Technology Society Journal,2019,53
(10):80-89.
[2]AHMAD SAG,NOR AML Underwater image quality
enhancement through integrated color model with Ray
leigh distribution[J].Applied Soft Computing,2015,27:
219-230.
[3]LI C Y,GUO J C,GUO C L,et al.A hybrid method for
underwater image correction[J].Pattern Recognition Let
ters,2017,94:67-71.
[4]王国霖,田建东,李鹏越.基于双透射率水下成像模型
的图像颜色校正[J].光学学报,2019,39(9):16-25. [5]李向春,张浩,刘晓燕.基于透射率优化和颜色修正的
水下图像增强方法[J].山东科学,2019,32(2)=7-14.
[6]霍光尧,佃松宜,武伟让•基于暗通道先验和自适应颜色
校正的水下图像处理[J].电光与控制,201226(11):
70-74.
[7]IQBAL K,ODETAYO M,JAMES A,et al.Enhancing the
low quality images using unsupervid colour correction
method[C]//IEEE International Conference on Systems,
Man and Cybernetics,2010:1703-1709.
[8]邹立,卢俊彦,胡易,等.非均匀光照条件下的水下图像
增强算法[J].山东科技大学学报(自然科学版),2020,
39(2):118-125,
[9]ZHANG W H,LI G,YING Z Q.Underwater image en-
hancement by the combination o£dehazing and color cor
rection[C]//Advances in Multimedia Information Pro-
cessing-PCM,2018:145-155.
[10]ZHANG W H,LI G,YING Z Q.A new underwater image
enhancing method via color correction and illumination
adjustment[C]//Visual Communications and Image
Processing(VCIP),IEEE,2017:1-4.
[11]LU H M,LI Y J,UEMURA T,et al.Low illumination un
derwater light field images reconstruction using deep化妆需要什么
convolutional neural networks[J].Future Generation
Computer Systems,201&82:142-148.
[12]Il C Y,GUO J C,GUO C L.Emerging from water:under
water image color correction bad on weakly supervid
color transfer[J].IEEE Signal Processing Letters,2018,
25(3):323-327.
[13]GUO Y C,LI H Y,ZHUANG P X,et al.Underwater im
age enhancement using a multiscale den generative ad
versarial network[J].IEEE Journal of Oceanic Engi
neering,2020,45(3):862-870.
[14]LI C Y,GUO C L,REN W Q,et al.An underwater image
enhancement benchmark datat and beyond[J].IEEE
Transactions on Image Processing,2019,29:4376-4389.bring的过去式和过去分词
[15]MCGLAMERY B L.A computer model for underwater
camera systems[J].Proceedings o£SPIE,1980,208:
221-231.
[16]HE K M,SUN J,TANG X0.Single image haze removal
using dark channel prior]J].IEEE Transactions on Pat
tern Analysis and Machine Intelligence,2011,33(12):
2341-53.
[17]BUCHSBAUM G.A spatial processor model for object
colour perception[J].Journal of the Franklin Institute,
1980,310(1):l-26.
[18]FU X Y,FAN Z W,LING M,et al.Two-step approach
for single underwater image enhancement[C]//Interna
tional Symposium on Intelligent Signal Processing and
Communication Systems(ISPACS),2017:789-794. [19]HUANG S C,CHENG F C,CHIU Y S.Efficient contrast
enhancement using adaptive Gamma correction with
weighting distribution[J].IEEE Transactions on Image
Processing,2013,22(3):1032-1041.