第45卷增1煤炭学报
Vol.45Supp.12020年
6月JOURNAL OF CHINA COAL SOCIETY
June
2020
带英文的网名
移动阅读
张立亚,郝博南,孟庆勇,等.基于HSV 空间改进融合Retinex 算法的井下图像增强方法[J ].煤炭学报,2020,45(S1):532-540.doi :10.13225/j.cnki.jccs.2020.0514
ZHANG Liya ,HAO Bonan ,MENG Qingyong ,et al.Method of image enhancement in coal mine bad on improved re-tex fusion algorithm in HSV space [J ].Journal of China Coal Society ,2020,45(S1):532-540.doi :10.13225/j.cnki.
jccs.2020.0514
基于H SV 空间改进融合Retinex 算法的
井下图像增强方法
张立亚
1,2,3
,郝博南1,2,3,孟庆勇1,2,3,温良1,2,3,吴文臻
1,2,3
(1.煤炭科学技术研究院有限公司,北京
100013;2.煤矿应急避险技术装备工程研究中心,北京100013;
3.北京市煤矿安全工程技术研究中心,北京100013)
摘
要:煤矿的安全监控技术一直是煤矿开采过程中重要的一部分,煤矿井下视频监控是保证煤矿
安全的重要手段,而监控图像的质量直接决定监控的有效性,目前受煤矿井下粉尘和低照度等条件的影响,煤矿视频图像的增强效果有待提升。针对这一问题,提出一种在HSV 空间变换的条件下,利用改进双边滤波算法与多尺度Retinex 算法融合的方法。首先针对多尺度Retinex 算法中存在的
容易出现光晕、边缘模糊等问题,利用改进的双边滤波理论与多尺度Retinex 算法融合的方法进行增强,增加了修正函数的双边滤波作为多尺度Retinex 算法中的中心环绕函数;同时将图像由RGB 空间转换到HSV 空间中,保持色调分量不变,通过融合Retinex 算法对亮度分量进行增强,并对饱和度分量进行校正;最后将图像由HSV 空间转换会RGB 空间,完成图像增强。通过实验验证,提出的改进的融合Retinex 算法相较于多尺度Retinex (Multi-Scale Retinex ,MSR)算法、带色彩恢复
因子的多尺度Retinex (Muti-Scale Retinex with Color Restoration ,MSRCR)算法,在色彩和边缘模糊处理等方面有所改进;同时在煤矿井下工作面等环境中,对图像均值、标准差、峰值信噪比(PSNR)
和信息熵等指标进行评判,相较于MSR算法分别提高了15.24%,16.54%,42.77%,2.82%,相较于MSRCR算法分别提高了8.13%,5.51%,10.90%,0.59%。实验数据表明,改进的融合Retinex
算法对图像的增强过程中,提高了图像的亮度、对比度,抑制了图像光晕和边缘模糊现象,为煤矿安全生产和智慧矿山的建设提供决策支持。
关键词:图像增强;双边滤波;Retinex 算法;HSV 色彩空间;煤矿安全中图分类号:TP391文献标志码:A 文章编号:0253-9993(2020)S1-0532-09
收稿日期:2020-04-01修回日期:2020-04-28责任编辑:郭晓炜
基金项目:国家重点研发计划资助项目(2018YFC0808304);天地科技股份有限公司科技创新创业资金专项资助项目(2018-TD -MS003);煤
炭科学技术研究院科技发展基金资助项目(2018CX07)
作者简介:张立亚(1985—),男,河北定州人,副研究员,硕士。E -mail :zhangliya@ccri.cn
Method of image enhancement in coal mine bad on
improved retex fusion algorithm in HSV space
ZHANG Liya 1,2,3,HAO Bonan 1,2,3,MENG Qingyong 1,2,3,WEN Liang 1,2,3,WU Wenzhen 1,
2,3
(1.CCTEG Coal Rearch Institute ,Beijing 100013,China ;2.Engineering Rearch Center for Technology Equipment of Emergency Refuge in Coal Mine ,
Beijing
100013,China ;3.Beijing Mine Safety Engineering Technology Rearch Center ,Beijing
100013,China )
Abstract :Coal mine safety monitoring technology has always been an important part of the mining process.Under-ground video monitoring is an important means to ensure the safety of coal mine.However ,the quality of monitoring
增刊1张立亚等:基于HSV空间改进融合Retinex算法的井下图像增强方法
image directly determines the effectiveness of monitoring.At prent,due to the influence of coal mine dust and low illumination,the enhancement effect of coal mine video image needs to be improved.Aiming at this problem,this pa-per propos a method to fu the improved bilateral filtering algorithm and multi-scaleRetinex algorithm under the condition of HSV spatial transformation.First of all,aiming at the problems that are prone to halos and edge blur in the multi-scaleRetinex algorithm,it is enhanced by the improved method of bilateral filtering and the multi-scaleRet-inex algorithm.The bilateral filter with added correction function is ud as the center surround function in the multi-scaleRetinex algorithm.At the same time,the image is transformed fromRGB space to HSV space,keeping the hue component unchanged,and the brightness component is enhanced by the fusionRetinex algorithm,and the saturation component is cor-rected.Finally,the image is converted from HSV space toRGB space to complete the image en-hancement.The experimental results show that the improved fusionRetinex algorithm is
better than theMulti-ScaleRet-inex(MSR)and Multi-ScaleRetinex with ColorRestoration(MSRCR)algorithm in color and edge blur processing.At the same time,compared with the MSRalgorithm,the image mean value,standard deviation,peak signal-to-noi ratio and information entropy are improved by15.24%,16.54%,42.77%and2.82%respectively.Compared with the MSRCRalgorithm,it has improved by8.13%,5.51%,10.90%,and0.59%respectively.Experiments show that the improved fusionRetinex algorithm enhances the image brightness and contrast,suppress image halation and edge blurring,and provides a decision support for coal mine safe production and smart mine construction.
Key words:image enhancement;bilateral filtering;retinex algorithm;HSV color space;coal mine safety
目前,煤炭行业的产值在我国的工业产业中占据相当大一部分比例,随着煤矿安全生产[1-2]的监管手段的提升,矿山安全问题也引起了国家和社会的广泛关注。煤矿井下的视频监控系统以及视频分析系统[3-4]是了解井下人员、设备、车辆等动目标的位置、状态等信息的有效手段。但是受到煤矿井下粉尘,低照度等环境的影响,导致最终接收到图像的监控效果并不理想,而图像的效果对井下情况的掌控,事后的分析有直接影响。因此,对煤矿井下的视频进行图像增强方面的技术研究具有重要的意义。
随着计算机智能化的发展,计算机图形图像处理等技术也被应用到矿山视频监控系统中,对图像效果的增强有很深的影响。目前主流的应用于煤矿井下的图像增强方法主要包括基于空域和频域两大类[5-6],基于空域的增强方法包括经典的Retinex算法,直方图均衡化算法等,基于频域的算法包括同态滤波算法等。其中应用最为广泛的就是Retinex算法[7],该算法由E.LAND在20世纪60年代在俄亥俄州提出,其主要思路就是将人体接收到的图像分为光的照射和物体本身的反射能力两个部分,而物体本身的反射能力与外界环境无关,将图像中光的照射部分估算出后即可求出物体本身的反射能力也就是物体本身颜色。根据这一理论,专家与学者先后提出了单尺度Retinex算法(SSR)[8-9],多尺度Retinex算法(MSR)[10],带颜色修复的多尺度Retinex算法(MSRCR)[11],基于变分框架的Retinex算法[12-14]等。这些算法对图像都有显著的增强效果,MSR算法本质上是分别对不同尺度的单尺度Reitnex算法(SSR)进行加权和求和计算,通过一个中心环绕函数估算出光的照度分量,进而计算出物体本身的反射分量,得到物体本身的增强图像,该算法是目前应用于煤矿井下图像增强较为广泛的一种算法。但是Retinex延伸算法也存在着各自的局限性。例如MSR算法对井下图片增强后在色彩上容易出现失真,图片出现光晕和边缘模糊等现象[15];基于变分框架和加入色彩恢复因子的Retinex算法容易过度增强;根据刘晓阳等人提出的基于双边滤波和Retinex算法的矿井图像增强方法中[16],作者采用在RGB空间中将双边滤波算法与多尺度Retinex算法融合,并进行小波变换实现图像增强,该方法对图像的失真有一定改善,对细节处理有一定的加强。根据笔者研究与分析,图像在RGB空间进行处理,比较容易出现失真现象;在利用传统双
边滤波进行处理时,图像边缘的处理效果有待提高。而相较于RGB空间,HSV空间有着一定的优越性,在HSV空间中,色调分量分别和饱和度分量和亮度分量独立存在,因此,图像的颜色可以和图像的亮度区分开来,互不影响,有利于处理煤矿井下照度较低的情况。
针对以上井下图像增强中存在的问题,考虑到煤矿井下复杂的视频环境,提出一种在HSV空间变换的条件下,利用改进的双边滤波算法与多尺度Ret-inex算法融合的方法,该算法能有效地缓解Retinex 算法中边缘模糊、容易出现光晕的现象,保持图像原有的色彩度,增强图片的亮度和对比度细节。
335
煤
炭学报
2020年第45卷
1
流程构建
1.1
HSV 模型概述
通常被广泛熟知的是RGB 即三基色空间[17]
,
该色彩空间表明,
任何一种颜色都可以由红(Red )、绿(Green )和蓝(Blue )3种基色混合而成,而HSV 模型是根据颜色的直观特性所创建的一种颜色空间,也被称之为六角椎体模型,如图1所示。它由3个属性分量组成,分别是色调(Hue )、饱和度(Saturation )和亮度(Value )。HSV 模型是更能反映出视觉效果的模型。本研究将图像由RGB 空间转换到HSV 空间进行图像的增强处理,可以选择特定的属性分量进行加强,保留不需要增强的属性,更加有利于图像的增强效果
。
图1HSV 模型F ig.1
HSV model
1.2图像增强方法的构建
针对煤矿井下粉尘、水雾、低照度等特殊环境因
素,提出对视频图像的增强方法,整体流程如图2所示。提出的图像增强方法主要是先将图片由RGB 空间转换到HSV 空间,生成色调(H )、饱和度(S )和亮度(V )3个分量,保持色调H 分量不变,利用提出的融合改进双边滤波的Retinex 算法对亮度V 分量进行增强,同时对饱和度分量S 进行校正,最后将HSV 空间换回RGB 空间生成增强后的图像。
2
改进的Retinex 算法
2.1
Retinex 算法的推导
E.LAND 提出Retinex 理论,即人眼中形成的图像是由物体对光照进行反射形成的,认为物体本身的颜色与外界的因素无关,实际起到作用的只是该物体对各种类型的光源的反射能力。由此,该模型由两部分组成,一部分为光照分量,而另一部分为物体的反射分量
。
图2图像增强流程Fig.2
Image enhancement flowchart
Retinex 理论的模型表达式[18]为
I (x ,y )=R(x ,y )ˑL (x ,y )
(1)
其中,
I (x ,y )为最终接收到的图像信息;R(x ,y )为物体的反射分量,通常具有大量高频信息,它表示物体本身对光线的反射能力,与光线本身并无关系;L (x ,y )为光的照度分量,通常为低频信号。可以看出,在最终接收到的图像中去除照度分量这一信息,就可以得到物体本身的信息,由此可以达到图像增强的效果。首先将式(1)转换到对数域,可求得物体本身的反射分量为
r =i -l =lg
I (x ,y )
L (x ,y )quite的用法
[
]
(2)
其中,
F (x ,y )代表一个中心环绕函数,也是一个低通的高斯环绕函数[19]
,I (x ,y )*F (x ,y )中的*表示用
这个中心环绕函数与接收图像卷积,进而估算出照度
分量的值。
式(1),
(2)推导出单尺度的Retinex 算法(SSR),为了解决单尺度Retinex 算法的局限性,更好地保持高保真度和对图像动态范围的压缩,在此基础
上,继续推导多尺度的Retinex 算法(MSR)
[20-21]
,其在对数域的数学表达式为
r =i -l =
∑N
k =1
w k [lg (I (x ,y ))-
l g (I (x ,y ))*F k (x ,y ))](3)
其中,
N 为尺度的总数目;w k 为每个尺度上的系数。若N =3,则w 1=w 2=w 3=
1
3
;
若N =1,则多尺度Ret-inex 算法将变为单尺度Retinex 算法。2.2
改进的双边滤波与Retinex 算法融合
多尺度的Retinex 算法在进行图像增强时,会伴随着光晕、边缘模糊等现象出现失真效果,为了解决
4
35
增刊1张立亚等:基于HSV 空间改进融合Retinex 算法的井下图像增强方法
这一问题,提出采用改进双边滤波代替高斯滤波作为多尺度Retinex 算法中的中心环绕函数的方法。算法整体流程如图3所示
kate walsh
。
图3融合Retinex 算法流程Fig.3
Fusion Retinex algorithm flow
根据2.2节多尺度Retinex 算法与图3可知,首
先将原图像对数化:
i =lg I (x ,y )=lg L (x ,y )ˑR(x ,y )=
lg L (x ,y )+lg R(x ,y )=l +r
(4)
式中,由Retinex 算法可知,r 为图像本身的反射能力,l 为光的照度分量。原图像减去照度分量后,即可得到物体本身的反射能力。因此,对照度分量的估计是Retinex 算法中最重要的一部分,在Retinex 算法中,对照度分量的估计公式为
l =lg (I (x ,y ))*F k (x ,
y ))(5)
在Retinex 算法中,
光的照度分量是由原图像与一个低通高斯滤波函数卷积来进行估算得出,F k (x ,y )即为低通高斯滤波函数,也称作中心环绕函数。
这个中心环绕函数的数学表达式可以表示为
F (x ,y )=
12πσ
2
e
-
x 2+y
2
2σ
2(
)
(6)
其中,为这个中心环绕函数的尺度函数,是高斯函数
的标准差。不同σ的取值对图像最后的增强效果有很大的影响,当标准差σ取值较大时,图像对比度效果变差,若取值较小,图像会出现光晕等现象,造成图像的模糊和失真。
为了解决上述问题,提出了一种用改进双边滤波代替高斯滤波的方法,利用改进双边滤波作为中心环绕函数与原图像进行卷积,进而估算出反射分量。
双边滤波函数属于一种非线性滤波函数,优点是
可以做到边缘保存,对保存图像的边缘信息具有良好的效果,可以有效去除图像增强时出现的失真现象。考虑到采用双边滤波作为中心环绕函数时,若图像中两像素点的灰度值相同或相似,则两个点中心环绕函数会因为像素点坐标位置的差异发生变化,对最后光的照度分量估计会产生一些偏差。因此,本研究对双边滤波进行更改,增加了一个修正函数i ,修改后的双边滤波函数的权重因子作为MSR算法的中心环绕函数,其数学表达式为:
H (x ,y )=exp -
τ[
(x -x 0)2
+(y -y 0)2]
2σr 2
-[
‖f (x ,
y )-f (x 0,y 0)‖22σ2d
]
(7)
其中,由双边滤波理论作为中心环绕函数是由定义域
核和值域核两部分的乘积组成,
其中f (x ,y )为图像中心点坐标;f (x 0,
y 0)为图像中心点灰度值;σr 为高斯函数空域上的标准差;σd 为高斯函数值域上的标
准差。τ为一个修正函数,
在这里规定,判断像素点与中心点灰度值的相似度,若像素点与中心点灰度值之差≤σr /4,
则τ=k /(x -x 0)2+(y -y 0)槡2,k 为常数;若像素点与中心点灰度值之差大于σr /4,则τ=1,通过引入该修正函数,修正图像中与图像中心点灰度值相同或相近的点,由于距中心点距离的差异而导致中心环绕函数值差异过大。
将修改后的双边滤波这一理论融入到多尺度Retinex 算法中后,公式即
r (x ,y )=∑N
k =1
w k [
log (I (x ,y ))-l g (I (x ,y ))*H k (x ,y ))](8)
式(7)与多尺度Retinex 算法整体相同,式(8)中H k (x ,
y )为融入双边滤波理论生成的新的中心环绕函数,H k (x ,y )与原图像进行卷积运算,可以更有效
地估计出光照分量的值。
3图像增强实现步骤
(1)为了解决Retinex 算法中容易出现的色彩失
真的现象,根据“1流程构建”中提出的流程图和叙述,首先将图片转换到HSV 空间,转换公式如下,其中max 和min 代表RGB 中的最大值和最小值:
V ѳmax
S ѳ0,if max =0
max -min
max
,otherwi
邯郸市三中{
5
35
煤炭学报2020年第45卷
Hѳ
0,if max=0
60ʎˑ
g-b
max-min
+0ʎ,if max=r and g>b 60ʎˑ
g-b
max-min
什么是顺时针+360ʎ,if max=r and g<b 60ʎˑ
b-r
max-min
+120ʎ,if max=g
60ʎˑ
r-g
max-min
+240ʎ,if max=b
(9)
亮度分量V为RGB中的最大值;饱和度分量S为一比例值;H为色调,该分量用角度表示,红、绿、蓝(R,G,B)分别间隔120ʎ,互补色差相差180ʎ。
(2)根据式(9)将图片由RGB空间转换到HSV 空间后,Retinex算法同样适用于HSV空间的3个分量,由于煤矿井下受粉尘和低照度等因素的影响,将提出的融合Retinex算法运用到亮度V分量上去,保持色调分量H不变,最后根据亮度分量的增强变化对图像的饱和度分量S进行校正,即可更加针对性地对低照度图像进行增强。
将V分量提取出之后,根据得到的原始图像I
V
wood是什么意思
(x,y),运用“2改进的Retinex算法”,可以估算出物体受光照的照度分量I V(x,y),进而计算出物体本身的反射分量也就是本身属性RV(x,y),其具体公式为
I V (x,y)=∑N
k=1
w
k
[lg(I
V
(x,y))-
l g(I
V
(x,y))*H
k
(x,y))](10)
式中,lg(I V(x,y)*H k(x,y))即为在亮度空间中估算出的照度分量;H k(x,y)为“2改进的Retinex算法”根据双边滤波理论提出的中心环绕函数;N为尺度数;
w
k 为权重系数,∑N
k=1
w
k
=1。
(3)将亮度V分量进行增强后,亮度的增强也会
使得饱和度相应发生变化,因此要对饱和度分量S进行校正,常用的饱和度增强方法有线性拉伸,直方图均衡等方法。由于这些方法在对饱和度分量进行校正时,容易产生图像的失真等情况,针对这一问题,采用对饱和度分量进行校正[22]的方法进行改进:
S c =S+t(V
c
-V)ε(11)
式中,S c和V c分别为增强后的饱和度分量和亮度分量;t为常数;ε为调整系数,可表示为
ε(x,y)=
∑i,j∈Ω(|(V(i,j)-V
Ω
(i,j))||(S(i,j)-S
Ω
(i,j))|)
δV(x,y)δS(x,y
槡)
(12)
式中,(x,y)为增强点位置;V
Ω
(i,j)和S
Ω
(i,j)为在增
强点位置nˑn大小的邻域范围内所有点的亮度和饱
和度平均值;δV(x,y)为该增强点的亮度方差;δS(x,
y)为该增强点的饱和度方差;(i,j)为邻域内像素点
坐标。
(4)在HSV空间将图像的亮度进行增强并对饱
和度进行校正之后,再把图像由HSV空间转换到
RGB空间,即可完成对煤矿井下低照度的图像增强。
冬天里的一把火 英文
由HSV空间到RGB空间转换所用到的公式为
(r,g,b)=
(v,t,p),if h
1
=0
(q,v,p),i f h
1
=1
(p,v,t),i f h
1
=2
(p,q,v),i f h
1
针灸英语=3
(t,p,v),i f h
1
=4
maggie smith(v,p,q),i f h
i
=5
(13)
式中,p=v(1-s);q=v(1-f s),t=v[1-(1-f)s];参数中
的f=
h
60
-h
i
,h
i
=?h60」(mod6);m od表示模运算,?」为
取底符号。
4实验验证
为了对本研究提出的基于改进双边滤波与Ret-
inex算法进行有效性验证,选用煤矿井下尘雾环
境(图像中包含悬浮颗粒物、水雾等干扰因素)和煤
矿井下低照度环境(图像中包括粉尘、低照度、逆强
光等干扰因素)两种图像,采用多尺度Retinex算
法(MSR),带色彩修复的多尺度Retinex算法
(MSRCR)和本研究改进的融合Retinex算法对两类
图像分析进行增强处理,并从主观方面和客观方面两
个方向对增强的图像进行评价。
4.1主观验证
主观方面主要是以人的视觉为评判标准,为了
更好地对比煤矿井下尘雾环境和煤矿井下低照度
环境图像增强后的对比度效果,验证过程加入了灰度
级分布这一概念,并用灰度直方图进行表示。如果一
幅图像的对比度高,那么它的灰度级分布将是均匀且
广泛的。
验证过程:分别采用MSR算法、MSRCR算法和
本研究改进的融合Retinex算法对两种图像进行增
强,并根据最后的增强图像生成灰度直方图,以此判
断图像增强的效果。验证结果如图4 11所示,图
攀谈的意思4 7为煤矿井下尘雾环境,图8 11为煤矿井下低照
度环境。
根据上述主观验证结果可以看出,MSR算法增
强后的图像,在图像的边缘容易出现光晕、边缘模
635