现代电子技术
相敬如宾的意思Modern Electronics Technique
Jan.2022Vol.45No.2
2022年1月15日第45卷第2期
在光照不足或天气恶劣等条件下得到的图像无法满足人们对高清图像的需求,而图像增强算法可以改善
图像的视觉效果。滤波器算法是一种典型的具有保边去噪特性的图像增强算法。经典滤波器算法包括高斯
DOI :10.16652/j.issn.1004⁃373x.2022.02.030
引用格式:王利娟,常霞,张伯妍.基于MSRCR 的自适应低照度图像增强[J].现代电子技术,2022,45(2):155⁃161.
基于MSRCR 的自适应低照度图像增强
王利娟1,常
霞1,张伯妍2
(1.北方民族大学宁夏智能信息与大数据处理重点实验室,宁夏银川750021;2.北方民族大学数学与信息科学学院图像处理与理解研究所,宁夏银川
750021)
摘
要:针对多尺度Retinex 处理低照度图像出现的“光晕伪影”和色彩泛白现象,文中提出一种基于自适应权重带色
彩恢复因子的多尺度Retinex 图像增强算法。在HSV 颜色空间中先将亮度通道图像分解为Retinex 增强层和细节恢复层。在Retinex 增强层中,不同尺度参数具有不同的增强效果,根据像素的概率分布,计算明暗不同区域的概率分布函数,获得自适应权重。所提算法有效地克服了尺度参数对亮度信息恢复造成的过增强现象。在细节恢复层中,导向滤波具有更优越的保边去噪特性,故采用导向滤波将图像分解成平滑层和边缘层图像,并利用增益系数增强边缘层信息。最后将自适应权重后Retinex 亮度增强层、平滑层和边缘层图像融合重构为增强后的亮度通道图像,并在伽马校正算法中融入自适
应调节因子来恢复图像在融合过程中丢失的部分细节和色彩信息。实验数据表明所提算法较其他对比算法具有更明显的优越性。
关键词:低照度图像;图像增强;Retinex 理论;MSRCR 算法;导向滤波;分层融合;伽马校正中图分类号:TN911.73⁃34;TP391.41
文献标识码:A
文章编号:1004⁃373X (2022)02⁃0155⁃07
Adaptive low⁃illumination image enhancement bad on MSRCR
WANG Lijuan 1,CHANG Xia 1,ZHANG Boyan 2
(1.Ningxia Key Laboratory of Intelligent Information and Big Data Processing ,North Minzu University ,Yinchuan 750021,China ;2.Institute of Image Processing and Understanding ,School of Math and Information Science ,North Minzu University ,Yinchuan 750021,China )
Abstract :In allusion to the phenomenon of "halo artifact"and color whitening in the multi⁃scale Retinex processing low⁃illumination images ,a multi⁃scale Retinex image enhancement algorithm b
ad on adaptive weights with color restoration factors is propod.In the HSV color space ,the luminance channel image is decompod into Retinex enhancement layer and detail restoration layer.In the Retinex enhancement layer ,different scale parameters have different enhancement effects.According to the probability distribution of pixels ,the probability distribution function of different areas of light and dark is calculated to obtain the adaptive weights.The algorithm can be ud to effectively overcome the over ⁃enhancement phenomenon of the
brightness information recovery caud by the scale parameter.In the detail restoration layer ,as the guided filtering has better edge⁃prerving and denoising characteristics ,the guided filtering is ud to decompo the image into the smooth layer and the edge layer images ,and the gain coefficient is ud to enhance the edge layer information.Finally ,the Retinex brightness enhancement layer ,smoothing layer and edge layer images after adaptive weighting are fud and reconstructed into the enhanced brightness channel image ,and the adaptive adjustment factor is integrated into the gamma correction algorithm to
recover some details and color information lost in the fusion process.The experimental data shows that the propod algorithm has more obvious advantages than other comparison algorithms.Keywords :low ⁃illumination image ;image enhancement ;Retinex theory ;MSRCR a西游记好词好句摘抄
lgorithm ;guided filtering ;layered
fusion ;gamma correction
收稿日期:2021⁃05⁃11修回日期:2021⁃06⁃24
基金项目:国家自然科学基金项目(11961001);宁夏自然科学基金项目(2018AAC03126);宁夏高等学校一流学科建设(数学学科)
(NXYLXK2017B09);北方民族大学重大专项项目(ZDZX201801);宁夏智能信息与大数据处理重点实验室开放基金(2019KLBD004);北方民族大学2020年研究生创新项目(YCX20092)
155
现代电子技术2022年第45卷
滤波器、拉普拉斯高斯滤波器和双边滤波器[1]等。用高斯滤波增强图像经常会出现过度模糊边缘现象。双边
滤波器[2⁃3]是一种对图像像素的空间距离和亮度信息进行双重考虑的非迭代的滤波算法,但对图像中梯度变化
大的部分,双边滤波核函数不稳定,极易出现梯度反转
现象。武昆提出一种将图像的深度信息考虑在内的双
边滤波器算法,增强结果具有较为清晰的轮廓和层次信
息,但运算量较大,实时性也较差[4]。黄爱黎提出了对图像进行逐点变换的局部拉普拉斯滤波算法[5],此算法中存在大量的冗余信息,时间复杂度为O(N2)。导向滤波器(Guided Image Filter,GIF)是由He K等人提出的一
种时间复杂度只有O(N)的滤波算法,此算法很好地克服了双边滤波中出现的梯度反转现象,该算法具有良好的保边去噪性[6]。
Retinex[7⁃8]是基于人眼视觉感知特性而提出的一种增强理论。最初提出基于路径[9⁃10]思想和基于偏微分思想[11]的Retinex图像增强算法。这两种算法有效地改善了低照度图像的质量,但算法中的参数较多,极易引入外界噪声;之后,学者们相继提出基于变分思想[12⁃13]和基于中心环绕思想的Retinex算法[14⁃19],这两种算法很好地解决了因光照均匀这一假设所带来的光晕现象。只是其中的变分法较为灵活,难以构造出满意的目标函数。基于中心/环绕Retinex算法的增强结果具有较强的稳定性,所以被广泛地使用于图形图像领域。算法中使用对数处理的方式可以极大地提升暗区域的像素值,对于
光照不足的低质量图像具有良好的增强效果。基于中心环绕的Retinex算法通常包括单尺度Retinex算法(Single⁃scale Retinex,SSR)[14⁃15]、多尺度Retinex算法(Multi⁃scale Retinex,MSR)[16⁃17]和具有颜色恢复因子的MSR算法(Multi⁃scale Retinex with Color Restoration,MSRCR)[18⁃19]。其中SSR算法尺度较为单一,无法充分考虑到要增强的信息。MSR算法是在SSR算法的基础上又增加了两个尺度的图像增强算法。在MSRCR算法中,增加了颜色恢复因子,在改善图像局部细节信息和颜色保持方面取得了满意的效果。但在处理某些颜色比例失衡的极端类型图像时,颜色恢复因子依然无法精确地计算颜色之间的比例关系,增强结果经常趋于白化现象。同时MSRCR算法没有充分考虑图像的边缘信息,增强图像的边缘处于模糊状态。Li等人提出具有强鲁棒性的Retinex算法(Robust⁃Retinex)[20],该算法具有较强的颜色保真效果,但图像的局部细节信息并不清晰。
针对导向滤波器的保边优势以及MSRCR算法中存
在白化现象的局限性,本文提出在HSV色彩空间下,将亮度通道V图像分解为Retinex增强层和细节恢复层两层。各层之间相互独立增强图像,互相弥补缺点并突出自身优势[21]。在Retinex增强层中,自适应权重代替平均权重有效地提高了图像的对比度和亮度,但光晕现象以及梯度反转在图像边缘处引起的伪影不可避免。导向滤波的各向异性可以有效地保持图像的边缘信息。利用增益系数将原图像与平滑层图像相减所得到的边缘层图像进行增强。改进的伽马矫正算法融合各层优势,获得具有清晰边缘和色彩自然的增强图像。
1MSRCR和导向滤波
1.1MSRCR算法
在光照均匀的条件下,Retinex理论认为物体表面的反射光对于人眼辨识颜色信息起着决定性作用,而外界的光照对于人眼获取物体颜色信息并无太大影响。Retinex理论通常将图像I(x,y)表示为:
I(x,y)=R(x,y)·L(x,y)(1)式中:(x,y)表示图像的像素;R(x,y)和L(x,y)分别表示光反射和光照度分量。为了方便计算,降低算法的复杂度,通常将式(1)用对数形式表示可以得到SSR算法:R SSR(x,y)=log[I(x,y)]-log[f(x,y)*I(x,y)]
(2)式中:“*”表示高斯核卷积;f(x,y)通常表示高斯卷积核函数,满足:
f(x,y)=k⋅exp()
-x2+y22σ2(3)
式中:k满足∬f()x,y d x d y=1;σ表示尺度参数。得到MSR算法:
R MSR(x,y)=∑j=1nωj[log I(x,y)-log[f j(x,y)*I(x,y)]]
(4)式中:n表示尺度数目,一般n=3;j表示不同的尺度数,一般有σ1,σ2,σ3;f j(x,y)为不同尺度参数下的卷积核函数;ωj是第j个参数所对应的权重因子,一般取均值。为解决图像局部失真,引入色彩恢复因子C i(x,y),提出MSRCR算法:
R MSRCR(x,y)=C j(x,y)·R MSR(x,y)(5)
C j(x,y)=μ·log
é
ë
ê
ê
ù
û
ú
ú
η·
I(x,y)
∑n=1N I n(X,Y)(6)
式中:μ和η分别是影响图像色彩恢复的增益因子和偏移量,通常有μ=46,β=125。
综上所述,Retinex算法中,对于一幅低照度的RGB 图像,不同的尺度参数具有不同的增强效果,分别取小
156
第2期
中大3个尺度(σ1=15,σ2=80,σ3=250)进行图像增强实验,增强结果如图1
所示。
图1不同尺度参数下的增强结果
图1的增强结果显示,当σ1=15时,局部对比度提
升,但丢失了许多细节信息,色调变差;当σ1=250时,图像的细节信息、亮度信息和颜色信息可保留更多;当σ1=80时,细节信息有所恢复,但亮度信息恢复不足。
本文算法则利用自适应权重将不同尺度参数的优点进行融合,使得MSRCR 算法的反射分量结果包含更多的细节内容。1.2
导向滤波
导向滤波经常被用作图像增强的预处理算法。假设引导图像与滤波图像之间满足局部线性关系[22]。将输入图像I ,输出的滤波图像q 通常用线性表示为:
q i =a k p i +b k ,∀i ∈ωk
(7)
式中:
p 为引导图像;k 为滤波窗口的中心位置;i 为窗口中像素的索引;
a 和
b 表示线性函数的常数系数。对滤波图像取梯度的时候,可得∇q =a ∇p 。可见当引导图像有梯度,滤波图像也会有梯度时,因此引导滤波对图像具有良好的平滑保边特性。为了计算a k 和b k ,定义损失函数:
E (a k ,b k )=
∑i ∈ωk
(a k
·p
i
+b k -I i )2+λa 2k
(8)
式中λ属于正则项。利用线性回归可得到a k 和b k 的值:
a k =
1||ω∑i ∈ω
k
p i I i -μk I ˉk σ2k +λ
(9)b k =p ˉk -a k μk (10)
式中:μk 和σ2k 分别为窗口中引导图像p 的均值和方差;
||ω为窗口中像素的个数;I
ˉk 为输入图像I 的均值。在滤波过程中,同一个像素在不同的窗口作用下会输出不同的像素值,故需要计算它们的均值:
q i =1ω∑k ∈ω
k
(a k p i +b k )=a ˉi p i +b ˉi (11)
导向滤波算法的最大优势是滤波窗口的大小并不会影响算法的时间复杂度,因此在处理大型图像时可以选择较大的滤波窗口。原图像减去滤波后的图像可以得到边缘细节图像,本文算法便是利用该特性获得边缘层图像,将边缘层信息增强后再与滤波图像进行重构得到新的细节恢复层图像。
2基于自适应权重的MSRCR
传统的MSRCR 算法通常会同时处理R ,G ,B 三个颜
色通道,所以三者之间通常会出现色彩比例不协调现象,导致增强结果呈现白化现象。在HSV 颜色空间中,
中华软功
V 通道分量包含了图像大量的细节信息。不同的尺度参数会得到不同的增强结果,不能依赖传统MSRCR 算法中三个尺度平均占比的思想。本文提出自适应权重的MSRCR 算法,将V 通道分解为Retinex 增强层V 1和细节恢复层V 2。利用自适应权重的MSRCR 算法增强V 1,得到增强层结果Q 1,利用导向滤波算法的保边优势增强V 2,得到平滑层Q 2和边缘层Q 3信息。这三层信息进行融合得到最终的增强结果V 。算法实现过程如图2所示。
图2本文算法实现过程
面包糠的做法2.1
图像多层次分解
本文提出基于融合的思想调节图像的照明问题。
通常有一些成熟的算法具有特定的增强效果,例如CLAHE 算法和滤波器分别改善图像的局部对比度和噪声,因此可以结合它们各自的优势[23]。受此启发,本文将V 通道图像进行分层,分别记为Retinex 增强层V 1和细节恢复层V 2,并设计两个权重,满足:
V =α·V 1+β·V 2,α+β=1
(12)
分层后所得到的融合结果既要避免V 2层边缘放大
造成过度卡通化,又要避免Retinex
算法出现的亮度过
王利娟,等:基于MSRCR 的自适应低照度图像增强157
现代电子技术
微信如何发起投票2022年第45卷
度增强导致增强结果出现白化现象。图3为3组V 1在
不同权重下的融合结果对比图。
图3V 1在不同权重下的融合结果对比图
由图3可得,图像Retinex 增强层所占的比重较小时,融合结果呈现过分曝光趋势,出现部分细节信息丢失现象;Retinex 增强层所占的比重超过V 1=0.8V 时,融合结果的亮度保持效果呈现过度下降趋势,出现部分细节模糊现象。当Retinex 增强层所占的比重为V 1=0.8V 时,
塔和树木的边缘信息都得到了增强,图像的对比度也得到了改善。故Retinex 增强层所占的比重为V 1=0.8V ,细节恢复层所占比重为V 2=0.2V 时的融合
效果最好。2.2
Retinex 增强层
在MSRCR 算法中,使用15,80和250三个尺度参数
的高斯核对图像V 1通道进行高斯滤波。由图1可知,大尺度所占比重较大时得到的增强结果最好。所以本文依据图像像素明暗程度提出自适应权重的MSRCR 算
法。在[0,255]范围内利用标准正态分布将图像像素等区域分为暗像素点、中亮像素点和亮像素点3类,即暗区域[0,85]、中暗区域[85,170]和亮区域[170,255]。再分别取均值作为3个区域的代表值作为正态分布的期望值,即μ1=43,
μ2=128,μ3=213。对图像V 1层的3类像素点进行似然概率[24]计算,则有:
z 1(x ,y )=e -(V 1(x ,y )-μ1)
2
(2⋅σ2
)
(13)z 2(x ,y )=e -(V 1(x ,y )-μ2)2(2⋅σ2)(14)z 3(x ,y )=e
-(V 1(x ,y )-μ3)2(2⋅σ2)
六级报名入口
(15)
为得到原图像的权重,根据这些概率值,将3个权重定义为:
ωj (x ,y )=
z j
∑j =1
3
z j
(16)
自适应MSRCR 具体实现如下:
Q 1(x ,y )=C j (x ,y )·∑j =1
3
ωΤj [log V 1(x ,y )-log [f j (x ,y )*V 1(x ,y )]]
(17)
式中:Q 1(x ,y )为Retinex 增强层的增强结果图像;ωΤj 为
权重ωj 的转置。
综上所述,从权重计算原理分析,该算法实现了对于大尺度占比较大、小尺度占比较少的目的,并且整个过程权重选择是自适应实现的过程,有效地克服了上述MSRCR 算法中均值权重的缺陷。图4为自适应权重MSRCR 算法前后的输出结果。图4c )显示,自适应权重后的图像对比度和亮度明显提高,部分细节信息也
均在。
图4自适应MSRCR 前后对比结果
2.3
细节恢复层
为进一步增强图像的细节信息,对细节恢复层
V 2=0.2V 通道图像进行导向滤波,达到保边去噪的效果。实验步骤如下:1)利用导向滤波模糊细节层图像V 2,得到模糊的平滑层图像Q 2;
2)细节层图像V 2减去平滑层图像Q 2得到的差值图像,即为边缘层图像Q 3,满足:
Q 3=V 2-Q 2;3)在细节层图像V 2上加上边缘层图像的一个权重
部分即增益系数,满足:
V 2=Q 2+kQ 3
此处的增益系数k 不易过大,如果原图像有任何零值或者选择的k 值过大,使得增益之后的峰值大于原图像中的最小值时,这样会导致最终的结果出现负灰度。负值将会导致边缘周围出现暗色晕轮,所以这里取k =2即可达到高度提升滤波的效果。实验效果如图5所示。
图5e )、图5f )显示,边缘增强后的V 2结果比边缘未
增强的V 2结果更加清晰,尤其是塔的栅栏处以及树木
的轮廓。最后将细节恢复层的结果V 2与Retinex 增强层结果Q 1进行融合,融合过程如下:
V =V 2+Q 1
(18)
对于融合之后出现的部分细节丢失和部分色彩显
158
第2期
示不自然现象,本文设计一种新的细节恢复方案,利用像素与像素邻域均值的关系和伽马矫正相结合的策略
来恢复丢失的信息。
图5导向滤波结果
算法步骤如下:
1)对V 进行归一化,选择一定大小的模板窗口m ×n ,通常选取3×3;
2)对于当前像素f (x ,y ),计算其局部区域8邻域
均值:
average =
1
8
∑(x ,y )∈V
f (x ,y )
3)利用增强强度s 增强该点灰度值,提升对比度,满足:
V (x ,y )=sf (x ,y )-(1-s )average 4)利用伽马矫正对V 进行色彩恢复,满足:
V fina =h (R ^gamma m
),h =(1-R m )R m 式中:V fina 为恢复细节后融合图像;R m 为V 归一化的均值;h 为调节因子,图像越暗则R m 越小,
h 便增大。5)最后将融合后的图像转换到RGB 空间,得到
RGB 格式的增强图像I en 。
3实验结果
兔子能吃什么水果
将本文算法与SSR 、MSR 、MSRCR 和Robust ⁃
Retinex [20]算法在Matlab 2018b 的PC 端进行对比实验。实验结果如图6~图10所示。图6~图10的实验结果:SSR 算法的增强结果中显示,虽然图像的局部细节信息和局部纹理信息的质量有所改善,但对于图像整体的对比度增强和亮度保持效果较弱,整体呈现视觉感知较暗现象,颜色信息恢复的也较少且存在局部色彩失真现象。图6~图8结果:基于MSR 与MSRCR 算法的增强结果中显示,增强结果出现整体色彩偏紫的失真现象,不符合人眼的视觉特性。图9、图10中,基于MSR 与
MSRCR 算法的结果显示,增强结果趋于白化现象,整体
小儿营养不良较模糊,导致部分细节信息无法被清晰的显示。图6~图9中基于Robust⁃Retinex 算法的结果显示,增强结果的色彩自然,亮度和对比度信息都有所恢复,但是依然存在细节信息丢失,整体呈现雾化视觉效果,图像细节信息的
清晰度下降。
图6原图1
的增强结果
图7原图2
的增强结果
图8原图3的增强结果
王利娟,等:基于MSRCR 的自适应低照度图像增强159