DOI: 10.11991/yykj.202103025
改进U-Net 网络的水下图像增强
李微1，毕晓君2
1. 哈尔滨工程大学 信息与通信工程学院，黑龙江 哈尔滨 150001
2. 中央民族大学 信息工程学院，北京 100081
摘 要：为解决现有水下图像增强方法对水下图像特征提取能力不足而导致的模型通用性不足的问题，本文提出一种改进U-Net 网络用于水下图像增强。首先，提出用生成对抗网络拟合一个新的水下退化模型，再用无水深度图像经过生成对抗网络合成对应的水下图像，从而建立水下数据集。然后，提出一种改进的U-Net 网络充分提取水下图像特征，自适应地学习水下图像到无水图像的映射关系。在3种不同类型的数据集上对本文所提出的算法与其他具有代表性的增强方法进行对比验证，结果表明，本文提出的算法能够对不同场景下的水下图像进行颜色校正，提高了图像的清晰度和对比度。
关键词：水下图像增强；特征提取；深度学习；水下退化模型；生成对抗网络
中图分类号：TP391.41 文献标志码：A 文章编号：1009−671X(2021)03−0034−07
Underwater image enhancement bad on improved U-Net model
LI Wei 1, BI Xiaojun 2
1. College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, Chinadual core
2. School of Information Engineering, Minzu University of China, Beijing 100081, China
Abstract : In order to solve the problem of insufficient model versatility caud by insufficient feature extraction capabilities of existing underwater image enhancement methods, this paper propos an improved U-Net model for underwater image enhancement. First, it is propod to fit a new underwater degradation model with a generative adversarial network, and then u the water-free depth image to synthesize corresponding underwater image through the generative adversarial network to establish an underwater datat. Then, an improved U-Net network is propod to fully extract underwater image features and adaptively learn the mapping relationship between underwater images and water-free images. The propod algorithm is compared with other reprentative enhancement methods on three different types of datats. The results show that the propod algorithm can correct the color of underwater images in different scenarios a
nd improve the clarity and contrast of images.
从句
Keywords: underwater image enhancement; feature extraction; deep learning; underwater degradation model;generative adversarial network
水下图像的质量对海洋军事、海洋资源开发等领域的研究具有至关重要的影响。然而，由于光在水中的衰减，造成获取的水下图像呈现出色偏、对比度低以及不清晰等问题，因此，对水下图像进行增强成为研究者们关注的热点。现有的水下图像增强方法分为基于深度学习的水下图像增强算法和基于传统算法的水下图像增强算法[1]
。传统的水下图像增强方法能够对特定场景下的水下图像进行增强，但是传统算法对于图像中出现
的不均匀光照、图像雾化等不同场景下的图像，容易出现局部区域过度增强而背景区域增强不够且增强效率低的问题，实际应用价值有限。而近年来，深度学习方法
[2]
在对图像进行处理上具有
良好的效果以及较高的效率，因此，将深度学习方法应用到水下图像增强中具有重要意义。
由于深度学习方法在提取图像特征方面的表现良好，本文提出采用深度学习网络作为水下图像增强的网络。首先本文提出采用生成对抗网络合成水下图像，制作数据集，之后在制作的数据集的基础上训练一个能够充分提取水下图像特征的改进U-Net 网络[3]
用于真实场景下的水下图像增强。
收稿日期：2021−03−23.
作者简介：李微，男，硕士研究生.
毕晓君，女，教授，博士生导师.通信作者：毕晓君，E-mail ：*******************.
第 48 卷第 3 期应 用 科 技
Vol.48 No.32021 年 5 月
Applied Science and Technology
May 2021
1 相关工作不定式
深度学习方法需要规模庞大的数据集对模型进行训练，然而这在深海环境中很难得到，因此需要制作水下数据集，接着利用深度学习网络提取数据集中的水下图像特征，使网络能够应用到真实场景下的水下图像增强。
Wang等 [4]提出一种端到端的基于卷积神经网络的水下图像增强模型(underwater image enhancement-net，UIE-Net)，该方法首先利用水下成像模型合成了水下数据集，再将UIE-Net中的去雾子网络和颜色校正子网络分别用于图像去雾和校正色偏2个任务，同时采用像素破坏策略来提取图像局部模块的固有特征，并且减少噪声的干扰，从而极大地加快了模型的收敛速度和精度。Li等[5]提出一种能够合成水下风格图像的生成对抗网络，称为WaterGAN，WaterGAN通过无水图像和深度图像经过真实水下图像的渲染合成模拟的水下图像，然后将模拟的水下图像和无水真实图像以及深度图像都用于提供两阶段的深度学习网络，网络可以用来校正真实场景下的水下图像。Fabbri等[6]提出一种鲁棒性高的生成对抗网络，该网络首先使用循环一致性生成对抗网络在未失真的图像基础上重建失真的图像，然后对成对的水下图像进行训练，训练出一种鲁棒性高的网络，该网络可以将模糊的水下图像转换为清晰的高分辨率图像。Li等[7]提出了一种基于水下场景先验的卷积神经网络模型，称为UWCNN。该模型结合水下成像模型和水下场景的光学特性，通过不同场景下的真实水下图像合成了涵盖不同水类型和退化程度的水下图像退化数据集，利用相应的训练数据对网络进行训练，得到的模型能用于真实水下图像的增强。此外，基于该网络的参数少、运算速度快，UWCNN模型可以扩展到水下视频中进行逐帧增强。
现有的深度学习方法已经在水下图像增强领域取得了重大的突破，能够对部分图像进行有效地增强。但是现有方法合成的水下数据集与真实场景下的水下图像还存在差距，以及现有深度学习模型不能充分提取不同风格水下图像的全部特征，从而不能应用到不同风格的水下图像中的问题，模型缺乏通用性。针对水下图像合成质量的问题，本文首先提出一个水下成像模型，然后使用生成对抗网络模拟水下成像模型的过程，并对水下成像模型的参数进行自适应的学习，解决了基于水下成像模型人工设计参数的不足，同时训练好的网络恰好能拟合水下退化的真实过程。针对现有水下图像增强方法不能充分提取水下图像特征提取而导致模型通用性不足的问题，本文采用特征提取能力出色的U-Net网络作为水下特征提取的基础网络，引入注意力机制[8]对水下图像目标区域和背景区域的对比度进行增强，从而提升图像整体质量。
singlehop
2 本文算法
2.1 水下数据集制作
目前，基于深度学习的水下图像增强方法研究的难点为水下数据集的获取。模型的训练需要同一位置的无水图像和退化图像，但是无水图像很难得到。因此，本文首先通过提出一个新的水下成像模型，利用生成对抗网络，将无水图像经过真实水下图像的渲染生成无水图像对应的合成水下图像，从而建立成对的水下数据集。
2.1.1 水下成像模型
光在水中传播过程中，由于水体对光的吸收和散射造成光的衰减，水下环境中还存在水中悬浮颗粒、浮游微生物和无机盐等都能吸收光能，同时产生光的散射效应而改变光的传输路径，从而使在水下获取的图像出现色偏、不清晰以及对
x J(x)dudley moore
t(x)E(x)η
d(x)B
式中：为图像中的每个像素；为无水图像；
为传输效率；为退化图像；为衰减系数；
学习经验交流会为目标到水下相机的距离；与图像远处的背景光相关。
经典模型只考虑了光在水中的直接衰减和后向散射衰减的影响，然而，水下环境中由于温度低，使得
水中的小水滴和水汽凝结形成水雾，水雾会使得光传输衰减。当水下相机获取图像时，图像场景深处的雾化程度和场景浅处的雾化程度不一致，从而造成水下图像的不同地方因为雾的影响而造成的能见度低下的程度不一样。而普通的水下模型没有考虑场景深度与雾化程度的影响，在场景深度变化大的图像中合成效果差，难以模拟出图像在场景深处的雾化效果。因此，其合成的水下图像就不能很好的模拟真实水下图像成像的特性。本文结合场景深度对图像雾化的影响，并对直接衰减和后向散射衰减提供2个不同
蜕变的英文
第 3 期李微，等：改进U-Net网络的水下图像增强·35·
x J (x )t (x )β(λ)d (x )t ′(x )αI (x )式中：为图像中的每个像素；为无水图像；为水中自然衰减的传输效率；为水中不同波长的光在水下的衰减系数；为目标物到水下相机的距离；为水中雾化情况下光的传输效率；为衰减系数；为退化后的图像。
2.1.2 基于生成对抗网络的水下图像生成模型
近年来生成对抗网络在图像生成领域表现良好，本文利用生成对抗网络模拟水下成像模型的衰减、散射以及雾化进行生成对抗网络结构的设计，能够自适应地学习水下成像模型的参数，网
络结构如图1所示。具体方法为采用无水深度图像作为生成器的输入，利用真实场景下的水下图像作为判别器的监督图像，来引导生成器生成图像的风格，从而使得生成器生成的图像与真实场景的水下图像难以区分，达到生成的图像与真实的图像具有相同水下风格的目的，从而制作成对的水下数据集。合成的2种风格的图像如图2所示，图2(a)列为无水图像，图2(b)列监督图像为浅水图像对应的合成水下图像，图2(c)列监督图像为深水图像对应的合成水下图像。
图1 水下图像生成网络整体框架
(b) 水下合成图像
(c) 深水图像对应合成水下图像
(a) 无水图像
图2 2种风格的合成图像示例
2.2 水下图像增强模型
本文提出在U-Net 网络的基础框架上引入注意力机制作为水下图像增强的模型，模型整体框架如图3所示。
2.2.1 特征提取
本文水下图像增强模型一共4层，模型输入像素为256×256的彩色图像，压缩路径在第1~4层的卷积核数量依次为32、64、128、256；2层之间进行1个2倍收缩的下采样，每1层图像大小依次为256×256、128×128、64×64、32×32；扩增路径与压缩路径对称，在2层之间采用1个2倍扩增的上采样，在同层之间使用跳跃连接融合扩增路径与收缩路径的特征信息，在第3层的跳跃
青海地震伤亡情况连接之间引入1个注意力机制模块，提高深层抽象特征的学习能力，注意力机制模块的输入为收缩路径第3层的输出和经过上采样的第4层输出，获得抽象特征的注意力概率分布之后，注意力机制的输出再与经过上采样的第4层输出进行信息融合。收缩路径与扩增卷积的卷积层的卷积核大小均为3×3，每个卷积层后面跟1个非线性激活函数Relu ，模型输出的卷积核数量为3。
2.2.2 损失函数
L 1在水下图像增强网络中，选择一个合理的损失函数引导网络增强后的图像能够逼近监督图像尤为关键，同时可减少网络的训练时间，帮助网络更好地训练。损失广泛应用于图像增强领域中，同时图像的结构相似程度也是衡量图像增强质量的一个重要指标，因此，采用式(3)作为总的
loss 1ssim T (x )x G (x )x ∂相似度损失；表示监督图像中像素的值；表示增强图像中像素的值；为2个损失各自的权重系数。
·36·应 用 科 技第 48 卷
亲爱的英文单词
256×256×32
图3 水下图像增强整体框架
3 实验结果与分析
3.1 实验环境与参数设置
本实验的硬件环境配置Intel®CoreTMi7-7700 ******* GHz×8，64位处理器，采用GeForce GTX 1080TiGPU进行运算加速，操作系统为64位Ubuntu 16.04，采用TensorFlow2.0框架以及python3.6进行程序实现。
水下图像生成模型的训练代数为10，批量大小为8，优化器为Adam，指数衰减因子0.5，学习率2×10−4；水下图像增强模型的训练代数为200，批量大小为32，优化器为Adam，指数衰减因子0.9，学习率2×10−4。
3.2 数据集选取
采用NYU Depth datat V1[9]和NYU Depth datat V2[10]中的无水图像以及对应的深度图像共3 728张，经过水下机器人大赛官方提供的浅水区域和深水区域2种风格的真实水下图像的渲染，合成无水
图像对应的水下图像，从而构造了水下数据集。将合成水下数据集分2部分，用3 712对合成图像进行水下图像增强模型的训练。测试集包括3个数据集：数据集1为16对合成数据集；数据集2为水下机器人官方提供的数据集，包括浅水区域图像2 069张，深水区域图像2 173张；数据集3为多场景的UIEBD数据集[11]，共890张。
3.3 测试结果与分析
为了验证本章所提出模型的有效性和先进性，进行了一系列对比实验，对比方法包括以HE[12]、Fusion[13]为代表的基于像素值重新分配的水下图像增强方法，以UDCP[14]、IBLA[15]、MIP[16]为代表的基于水下成像模型的水下图像增强方法，以UWCNN[7]为代表的基于深度学习的水下图像增强算法。
3.3.1 算法有效性验证
首先，为了验证添加注意力机制模块的有效性，使用数据集1中的训练集分别对添加注意力机制的U-Net水下图像增强网络与未添加注意力机制的U-Net水下图像增强网络进行训练。使用合成的水下图像作为网络的输入，将相应的无水图像作为网络的监督图像，通过训练集的训练得到训练好的模型。由于数据集1中的合成水下图像具有对应的无水图像作为监督图像，因此，在数据集1中的测试集中采用有参考图像的评价标准峰值信噪比(peak signal-to-noi ratio，PSNR)和结构相似度(Structural SIMila
rity，SSIM)进行不同方法测试效果的对比，结果如表1所示。
第 3 期李微，等：改进U-Net网络的水下图像增强·37·
表1 不同方法的PSNR和SSIM结果对比
评价指标PSNR SSIM
Input19.530.780
HE18.770.764
Fusion24.660.912
UDCP17.720.762
IBLA19.030.771
MIP20.040.786
UWCNN30.340.963
Ours130.190.961
Ours232.950.976
表1中，Ours1为未添加注意力机制的U-Net 水下图像增强网络的实验结果，Ours2为添加注意力机制的U-Net水下图像增强网络的实验结果。对比二者可以看出，在U-Net网络中添加注意力机制模块能够有效提升图像的SSIM值与PSNR 值。同时，由表1可知，基于深度学习的水下图像增强方法通过对训练集特征的提取，在与训练集同分布的数据集1上的增强表现优于其他方法，证明了深度学习方法在数据集1上的优越性。3.3.2 算法先进性验证
为了验证模型在不同风格水下图像中的泛化能力，采用数据集2这种真实场景下的水下图像作为测试集能够更有效地说明模型对真实场景下图像的增强效果。而本文所提出的模型是在数据集1中的水下风格合成图像上进行训练的，而数据集1的水下风格来源于数据集2，因此，模型经过训练能够学习到数据集2中2种水下风格图像的特征，以此作为先验信息，从而在类似风格的水下图像中增强效果明显。为了验证本文所提出的模型能够对不同风格的水下退化图像进行增强的通用性，在含有丰富水下场景的数据集3上进行实验。如图4—图6所示。
(a) 原图
1(b)
HE 增强后的图(c)
abnormal
Fusion 增强后的图
(d) UDCP
增强后的图
(f)
MIP
增强后的图(g) UWCNN 增强后的图(h)
本文算法增强后的图
(e) IBLA
增强后的图
图4
不同算法对示例1的增强效果
(a) 原图 2(b) HE 增强后的图(c) Fusion 增强后的图(d) UDCP 增强后的图
(f) MIP 增强后的图(g) UWCNN 增强后的图(h) 本文算法增强后的图
(e) IBLA 增强后的图
图5 不同算法对示例2的增强效果图
·38·应 用 科 技第 48 卷
