改进Retinex⁃Net的低光照图像增强算法
欧嘉敏1 胡 晓1 杨佳信1
摘 要 针对Retinex⁃Net存在噪声较大㊁颜色失真的问题，基于Retinex⁃Net的分解-增强架构，文中提出改进Ret⁃inex⁃Net的低光照图像增强算法.首先，设计由浅层上下采样结构组成的分解网络，将输入图像分解为反射分量与光照分量，在此过程加入去噪损失，抑制分解过程产生的噪声.然后，在增强网络中引入注意力机制模块和颜色损失，旨在增强光照分量亮度的同时减少颜色失真.最后，反射分量和增强后的光照分量融合成正常光照图像输出.
实验表明，文中算法在有效提升图像亮度的同时降低增强图像噪声.
关键词 低光照图像增强，深度网络，视网膜大脑皮层网络(Retinex⁃Net)，浅层上下采样结构，注意机制模块
引用格式 欧嘉敏，胡晓，杨佳信.改进Retinex⁃Net的低光照图像增强算法.模式识别与人工智能,2021,34(1):77-86.
DOI 10.16451/jki.issn1003⁃6059.202101008 中图法分类号 TP391.4
Low⁃Light Image Enhancement Algorithm Bad on
Improved Retinex⁃Net
OU Jiamin1,HU Xiao1,YANG Jiaxin1
孙悟空的墓
ABSTRACT Aiming at the problems of high noi and color distortion in Retinex⁃Net algorithm,a low⁃light image enhancement algorithm bad on improved Retinex⁃Net is propod grounded on the decomposition⁃enhancement framework of Retinex⁃Net.Firstly,a decomposition network compod of shallow upper and lower sampling structure is designed to decompo the input image into reflection component and illumination component.In this process,the denoising loss is added to suppress the noi generated during the decomposition process.Secondly,the attention mechanism module and color loss are introduced into the enhancement network to enhance the brightness of the illumination component and meanwhile reduce the image color distortion.Finally,the reflection component and the enhanced illumination component are fud into the normal illumination image to output.The experimental results show that the propod algorithm improves the image brightness effectively with the noi of enhanced image reduced.
Key Words Low⁃Light Image Enhancement,Deep Network,Retinal Cortex Theory⁃Net,Shallow Up⁃per and Lower Sampling Structure,Attention Mechanism Module
Citation OU J M,HU X,YANG J X.Low⁃Light Image Enhancement Algorithm Bad on Improved Retinex⁃Net.Pattern Recognition and Artificial Intelligence,2021,34(1):77-86.
收稿日期:2020-05-12；录用日期:2020-09-17 Manuscript received May12,2020;
accepted September17,2020
国家自然科学基金项目(No.62076075)资助Supported by National Natural Science Foundation of China(No. 62076075)
本文责任编委黄华Recommended by Associate Editor HUANG Hua
1.广州大学电子与通信工程学院 广州510006
1.School of Electronics and Communication Engineering,Guang⁃zhou University,Guangzhou510006 由于低光照环境和有限的摄像设备，图像存在亮度较低㊁对比度较低㊁噪声较大㊁颜色失真等问题，不仅会影响图像的美学㊁人类的视觉感受，还会降低运用正常光照图像的高级视觉任务的性能[1-3].为了有效改善低光图像质量，学者们提出许多低光照图像增强算法，经历灰度变换[4-5]㊁视网膜皮层理论[6-11]和深度神经网络[12-19]三个阶段.
早期，通过直方图均衡[4-5]㊁伽马校正等灰度变换方法对低亮度区域进行灰度拉抻，可达到提高暗区亮度的目的.然而，因为未考虑像素与其邻域像素的关系，灰度变换常会导致增强图像缺乏真实感.
第34卷 第1期模式识别与人工智能Vol.34 No.1 2021年1月Pattern Recognition and Artificial Intelligence Jan. 2021
Land [6]提出视网膜皮层理论(Retinal Cortex
Theory,Retinex).该理论认为物体颜色与光照强度无关，即物体具有颜色恒常性.基于该理论，相继出现经典的单尺度视网膜增强算法(Single Scale Retinex,SSR)[7]和色彩恢复的多尺度视网膜增强算法(Multi⁃scale Retinex with Color Restoration,MSR⁃
CR)[8].算法主要思想是利用高斯滤波器获取低光照图像的光照分量，再通过像素间逐点操作求得反射分量作为增强结果.Wang 等[9]利用亮通滤波器和对数变换平衡图像亮度和自然性，使增强后的图像趋于自然.Fu 等
[10]
设计用于同时估计反射和光照
分量(Simultaneous Reflectance and Illumination Esti⁃mation,SRIE)的加权变分模型，可有效处理暗区过度增强的问题.Guo 等
[11]
提出仅估计光照分量的低
光照图像增强算法(Low Light Image Enhancement
via Illumination Map Estimation,LIME)，主要利用局部一致性和结构感知约束条件计算图像的反射分量并作为输出结果.然而，这些基于Retinex 理论模型的算法虽然可调整低光图像亮度，但增亮程度有限.研究者发现卷积神经网络(Convolutional Neural
Network,CNN)[12]与Retinex 理论结合能进一步提高增强图像的视觉效果，自动学习图像的特征，解决Retinex 依赖手工设置参数的问题.Lore 等[13]提出深度自编码自然低光图像增强算法(A Deep Auto⁃encoder Approach to Natural Low Light Image Enhan⁃
cement,LLNet)，有效完成低光增强任务.Lü等[14]
提出多边低光增强网络(Multi⁃branch Low⁃Light En⁃
hancement Network,MBLLEN)，学习低光图像到正常光照图像的映射.Zhang 等[15]结合最大信息熵和Retinex 理论，提出自监督的光照增强网络.Wei 等[16]基于图像分解思想，设计视网膜大脑皮层网络
(Retinex⁃Net)，利用分解-增强架构调整图像亮度.Zhang 等[17]基于Retinex⁃Net 设计低光增强器.然而，由于噪声与光照水平有关,Retinex⁃Net 提
取反射分量后，图像暗区噪声高于亮区.因此,Retinex⁃Net 的增强结果存在噪声较大㊁颜色失真的问题，不利于图像质量的提升.为此本文提出改进Retinex⁃Net 的低光照图像增强算法.以Retinex⁃Net 的分解与增强框架为基础，针对噪声问题，在分解网络采用浅层上下采样结构[15]，利用反射分量梯度项[15]作为损失.同时为了改善增强图像的色彩偏差，保留丰富的细节信息，在增强网络中嵌入注意力机制模块[18]和颜色损失[19].实验表明，本文算法在LOL 数据集和其它公开数据集上取得较优的视觉效如何学化妆
果和客观结果.
1 改进Retinex⁃Net 的低光照图像
增强算法
改进Retinex⁃Net 的低光照图像增强算法框图如图1所示.
S low
S normal
R high
I high
I low
R low
I en
d
图1 本文算法框图
Fig.1 Flowchart of the propod algorithm
87模式识别与人工智能(PR&AI) 第34卷
Retinex理论[6]认为彩色图像可分解为反射分量和光照分量:
S=R I.(1)其中: 表示逐像素相乘操作;S表示彩色图像，可以是任何具有不同曝光程度的图像;R表示反射分量，反映物体内在固有属性，与外界光照无关;I表示光照分量，不同曝光度的物体光照分量不同.
本文算法主要利用2个相互独立训练的子网络，分别是分解网络与增强网络.具体地说，首先，分解网络以数据驱动方式学习，将低光照图像和与之配对的正常光照图像分解为相应的反射分量(R low, R normal)和光照分量(I low,I normal).然后，增强网络以低光图像的光照分量I low作为输入，在结构感知约束下，提升光照分量的亮度.最后，重新组合增强的光照分量I en与反射分量R low，形成增强图像S en，作为网络输出.
1.1 分解网络的浅层上下采样结构致运动员
wear是什么意思由于式(1)是一个不适定问题[20]，很难设计适用于多场景的约束函数.本文算法以数据驱动的方式进行学习，不仅能解决该问题，还能进一步提高网络的泛化能力.如图1所示，在训练阶段，分解网络以低光照图像S low和与之对应的正常光照图像S normal 作为输入，在约束条件下学习输出它们一致的反射分量R low和R normal，及不同的光照分量I low和I normal.值得注意的是,S low与S normal共享分解网络的参数.
区别于常用的深度U型网络(U⁃Net)结构及Retinex⁃Net简单的堆叠卷积层，本文算法的分解网络是一个浅层的上下采样结构，由卷积层与通道级联操作组成，采样层只有4层，网络训练更简单.实验表明，运用此上下采样结构变换图像尺度时，下采样操作一定程度上舍去含有噪声的像素点，达到降噪效果的目的，但同时会引起图像的模糊.因此为了提高分解图像清晰度，减少语义特征丢失，在图像上采样后应用通道数级联操作，可给图像补偿下采样丢失的细节信息，增强清晰度.
在浅层上下采样结构中，首先，使用1个9×9的卷积层提取输入图像S low的特征.然后，采用5层以ReLU作为激活函数的卷积层变换图像尺度，学习反射分量与光照分量的特征.最后，分别利用2层卷积层及Sigmoid函数，将学习到的特征映射成反射图R low和光照图I low后再输出.
对于分解网络的约束损失，本文算法沿用Retinex⁃Net的重构损失l rcon㊁不变反射率损失l R及光照平滑损失l I.另外为了在分解网络中更进一步减小噪声，添加去噪损失l d.因此总损失如下:
l=l rcon+λ1l R+λ2l I+λ3l d,
其中,λ1㊁λ2㊁λ3为权重系数，用于平衡各损失分量.对于L1㊁L2范数和结构相似性(Structural Similarity, SSIM)损失的选择，当涉及图像质量任务时,L2范数与人类视觉对图像质量的感知没有很好的相关性，在训练中容易陷入局部最小值，而SSIM虽然能较好地学习图像结构特征，但对平滑区域的误差敏感度较低，引起颜色偏差[21].因此本文算法使用L1范数约束所有损失.
在分解网络中输出的结果R low和R normal都可与光照图重构成新的图像，则重构损失如下:
l rcon=∑
i=low,normal
W1R
low I i-S i1+
∑j=low,normal W2R normal I j-S j1，其中 表示逐像素相乘操作.当i为low或j为normal 时，权重系数W1=W2=1，否则W1=W2=0.001.对于配对的图像，使用较大的权重能够使分解网络更好地学习配对图像的特征.对于配对的图像对，使用较大的权重可使分解网络更好地学习配对图像的特征.
不变反射率损失l R是基于Retinex理论的颜色恒常性，在分解网络中主要用于约束学习不同光照图像的一致反射率:
l R=R
low-R normal1
.
对于光照平滑损失l I，本文采用结构感知平滑损失[16].该损失以反射分量梯度项作为权重，在图像梯度变化较大的区域，光照变得不连续，从而亮度平滑的光照图能保留图像结构信息，则
l I=ΔI
low exp(-λgΔR low)1+
ΔI normal exp(-λgΔR normal)1,
其中,Δ表示图像水平和垂直梯度和,λg表示平衡系数.
Rudin等[22]观察到，噪声图像的总变分(Total Variation,TV)大于无噪图像，通过限制TV可降低图像噪声.然而在图像增强中，限制TV相当于最小化梯度项.受TV最小化理论[22-23]启发，本文引入反射分量的梯度项作为损失，用于控制反射图像噪声，故称为去噪损失:
l d=λΔR
low1
.
当λ值增加时，噪声减小，同时图像会模糊.因此对于权重参数的选择十分重要，经过实验研究发现，当权重λ=0.001时，图像获得较好的视觉效果.
1.2 增强网络的注意力机制
如图1所示，增强网络以分解网络的输出I low作
97
第1期 欧嘉敏 等：改进Retinex⁃Net的低光照图像增强算法
为输入，学习增强I low的亮度，将增强结果I en与分解网络另一输出R low重新结合为增强图像S en后输出.在增强网络中,I low经过多个下采样块生成较小尺度图像，使增强网络有较大尺度角度分配光照，从而具有调节亮度的能力.网络采用上采样方式重构局部光照，对亮的区域分配较低亮度，对较暗的区域调整较高亮度.此外，将上采样层的输出进行通道数的级联，在调整不同局部光照的同时，保持全局光照一致性.而且跳过连接是从下采样块引入相应的上采样块，通过元素求和，强制网络学习残差.
针对Retinex⁃Net出现的颜色失真问题，在增强网络中嵌入注意力机制模块.值得注意的是，与其它复杂的注意力模块不同，注意力机制模块由简单卷积层和激活操作组成，不要求强大的硬件设备，也不
需要训练多个模型和大量额外参数.在光照调整过程中，可减少对无关背景的特征响应，只激活感兴趣的特征，提高算法对图像细节的处理能力和对像素的敏感性，指导网络既调整图像亮度又保留图像结构.
由图1可见，注意力模块的输入是图像特征αi㊁βi，输出为图像特征γi,i=1,2,3，表示注意力机制模块的序号.αi为下采样层输出的图像特征,βi为上采样层的输出特征.这2个图像特征分别携带不同的亮度信息，两者经过注意力模块后，降低亮度无关特征(如噪声)的响应，使输出特征γi携带更多亮度信息被输入到下一上采样层，提高网络对亮度特征的学习能力.
αi与重建尺度后的βi分别经过一个独立的1×1卷积层，在ReLU激活之前进行加性操作.依次经过1×1卷积层㊁Sigmoid函数，最后与βi通过逐元素相乘后将结果与αi进行通道级联.在此传播过程中，注意机制可融合不同尺度图像信息，同时减少无关特征的响应，增强网络调整亮度能力.
独立于分解网络的约束损失，增强网络调整光照程度是基于局部一致性和结构感知[16]的假设.本文算法除了沿用Retinex⁃Net中约束增强网络的损失外，在实验中，针对Retinex⁃Net出现的色彩偏差，增加颜色损失[19]，因此增强网络损失:
L=L rcon+L I+μL c,
其中,L rcon为增强图像的重构损失,
L rcon=S
normal-R low I en1,
L I表示结构感知平滑损失,L c表示本文的颜色损失,μ表示平衡系数.L rcon定义表示增强后的图像与其对应的正常光照图像的距离项，结构感知平滑损失L I 与分解网络的平滑损失类似，不同的是，在增强网络中,I en以R low的梯度作为权重系数:
L I=ΔI
en exp(-λgΔR low)1.
此外，本文添加颜色损失L c，衡量增强图像与正常光照图像的颜色差异.先对2幅图像采用高斯模糊，滤除图像的纹理㊁结构等高频信息，留下颜色㊁亮度等低频部分.再计算模糊后图像的均方误差.模糊操作可使网络在限制纹理细节干扰情况下，更准确地衡量图像颜色差异，进一步学习颜色补偿.颜色损失为
L c=F(S
域名网站查询
en)-F(S normal)21.
其中:F(x)表示高斯模糊操作,x表示待模糊的图像.该操作可理解为图像每个像素以正态分布权重取邻域像素的平均值，从而达到模糊的效果,S en为增强图像,S normal为对应的正常光照图像,
F(x(i,j))=∑
k,l
x(i+k,j+l)G(k,l),
G(k,l)表示服从正态分布的权重系数.在卷积网络中G(k,l)相当于固定大小的卷积核,
G(k,l)=0.æ
è
çç
053exp k2-l2ö
ø
÷÷
枯瘦的反义词
6.
2 实验及结果分析
2.1 实验环境
本文算法采用LOL训练集[16]和合成数据集[16]训练网络.测试集选取LOL的评估集㊁DICM数据集㊁MEF数据集.在训练过程中，网络采用图像对训练，批量化大小(Batch Size)设为32，块大小(Patch Size)设为48×48.分解网络的损失平衡系数
λ1=0.001,λ2=0.1,λ3=0.001.
增强网络的平衡系数μ=0.01,λg=10.本文采用自适应矩估计优化器(Adaptive Moment Estima⁃tion,Adam).网络的训练和测试实验均在Nvidia GTX2080GPU设备上完成，实现代码基于TensorFlow框架.
为了验证本文算法的性能及效果，采用如下对比算法:Retinex⁃Net,SRIE[10],LIME[11],MBLLEN[14]㊁文献[15]算法㊁全局光照感知和细节保持网络(Global Illumination⁃Aware and Detail⁃Prerving Net⁃work,GLADNet)[24]㊁无成对监督深度亮度增强(Deep Light Enhancement without Paired Supervision, EnlightenGAN)[25].在实验过程中，均采用原文献提供的模型或源代码对图像进行测试.
采用如下客观评估指标：峰值信噪比(Peak Signal to Noi Ratio,PSNR)㊁结构相似性(Structural
08模式识别与人工智能(PR&AI) 第34卷
Similarity,SSIM)[26]㊁自然图像质量评估(Natural
Quality Evaluator,NIQE)[27]㊁通用图像质量评估(Universal Quality Index,UQI)[28]㊁基于感知的图像质量评估(Perception⁃Bad Image Quality Evaluator,
PIQE)[29].SSIM㊁PSNR㊁UQI 值越高，表示增强结果图质量越优.相反,PIQE㊁NIQE 值越高，表示图像质量越差.
2.2 消融性实验
为了进一步验证本文算法各模块的有效性，以Retinex⁃Net 为基础设计消融性实验，利用PSNR 衡量噪声水平，采用SSIM 从亮度㊁对比度㊁结构评估图像综合质量.实验结果如表1所示，表中S⁃ULS 表示浅层上下采样结构,l d 表示去噪损失.Enhan _I low 表示增强网络输入仅为光照分量,AMM 表示注意力机制模块,L c 表示颜色损失.参数微调1表示增强网络的平滑损失系数由原Retinex⁃Net 的3设为1；参数微调2是增强网络的平滑损失系数为1，批量化大小由16设为32.
表1 各改进模块及损失的消融性实验结果
Table 1 Ablation experiment results of improved modules and loss
序号基础框架
改进方法
PSNR
SSIM
1-Retinex⁃Net 16.7740.55923Retinex⁃Net 添加S⁃ULS，不添加l d 添加S⁃ULS，添加l d
17.45217.4940.6890.699456Retinex⁃Net+S⁃ULS+l d
添加Enhan _I low ，不添加AMM，不添加L c 添加Enhan _I low ，添加AMM，不添加L c 添加Enhan _I low ，添加AMM，添加L c
17.89718.00218.0910.7030.7080.70478
Retinex⁃Net+S⁃ULS+l d +AMM+L c
参数微调1参数微调2
18.27218.529
0.7190.720
表1中序号2给出以Retinex⁃Net 为基础，采用浅层上下采样结构作为分解网络的结果.相比Retinex⁃Net,PSNR 值显著提高，表明此结构可抑制由图像分解带来的噪声.在此基础上添加去噪损失,
进一步降低噪声，见序号3.由此验证浅层上下采样结构与去噪损失的有效性.
在本文算法中，由于采用两步训练的方式，即先训练分解网络后训练增强网络，因此在验证浅层上下采样结构和去噪损失的有效性后，以此为基础评估增强网络引入的注意力机制模块和颜色损失的有效性.在Retinex⁃Net 中增强网络的输入为反射分量与光照分量通道级联后的结果.该设置一定程度上会导致反射分量丢失图像结构和细节，同时影响光照分量的亮度提升.为此，先设置序号4的实验验证上述分析.由结果可见:PSNR㊁SSIM 值大幅提高，证明此分析的正确性，表明本文算法的增强网络仅以光照分量作为输入的有效性.
不碍事另外，从序号5结果看出，利用注意力模块后，图像噪声显著降低，这归功于注意力模块可减少对图像无关特征的响应，集中注意力学习亮度特征，从而降低图像噪声水平.在颜色损失的消融性实验中，尽管客观数值上没有直观体现颜色的恢复，但根据图2和图3可知，该损失是有效的.为了使各模块更好地发挥优势，本文算法对参数进行微调.从序号
7㊁序号8的实验结果可见，微调参数后本文算法各模块作用进一步体现，取得更优结果
.
(a)输入图像
(b)参考图像
合同 (a)Input image (b)Ground truth
1
8第1期 欧嘉敏 等：改进Retinex⁃Net 的低光照图像增强算法
