第38卷第5期计算机仿真2021年5月
文章编号:1006 - 9348(2021)05 -0455 -07
残差卷积自编码网络图像去噪方法
罗仁泽U’3，王瑞杰2，张可2，范顺利2
(1.西南石油大学油气藏地质及开发工程国家重点实验室，四川成都610500;
2.西南石油大学电气信息学院，四川成都610500;
3.西南石油大学地球科学与技术学院，四川成都610500)
摘要：传统图像去噪模型一般为浅层线性结构，特征提取能力有限，而现有基于深度学习的图像去噪模型存在去噪效率低、
泛化能力弱等问题。针对上述缺点，以残差块、批归一化层和自编码器组成的残差卷积自编码块为基本网络结构，提出多功
能去噪残差卷积自编码神经网络（D R C A E N N m)和去噪残差卷积自编码神经网络（D R C A E N N)
两种基于深度学习的去噪网
络模型。实验结果表明，D R C A E N N m模型不仅具有盲去噪能力，还可以去除与训练数据类型不同的噪声，具有强泛化能力；
D R C A
E N N模型收敛快，去噪效率远超其它网络模型。
关键词：深度学习；图像去噪；卷积神经网络；自编码网络；残差网络
中图分类号:TP183;TN911.73 文献标识码：B
Image Denoising Method of Residual Convolution
Auto - Encoder Network
LUO Ren -z e12 3，WANG Rui -j ie2, ZHANG Ke2, FANG Shun -l i2
(1. State K e y Laboratory of Oil and G as Rervoir Geology and Development Engineering,
Southwest Petroleum University, C h e n g d u Sichuan 610500, C h i n a；
2. School of electrical information, Southwest Petroleum University, C h e n g d u Sichuan 610500, C h i n a；
3. School of Earth Science and Technology,Southwest Petroleum University, C h e n g d u Sichuan 610500, China)
A B S T R A C T：T h e traditional image denoising models are generally shallow linear structures with limited feature ex
traction capabilities. However, existing image denoising models bad on deep learning have the problems such as
low denoising efficiency and w e a k generalization ability. In view of the above shortcomings, combined with the advan
tages of Convolutional Auto -Encoder Network and Residual N e t work,using the Residual Convolutional Auto -E n
coder consisting of residual block, Batch Normalization layer and Auto - Encoder as the basic network structure,
multi -functional denoising residual convolution Auto -Encoding neural network (D R C A E N N m)and denoising re
sidual convolution Auto -Encoding Neural network (D R C A E N N)are propod. T h e experimental results show that
the D R C A E N N m model not only has the ability to blindly denoi, but also can filter out the nois different from the
training data type ；D R C A E N N model can converge faster and the denoising efficiency far exceeds other network m o d
els.
K E Y W O R D S：D e e p learning；Image denoising；Convolutional neural network(C N N)；Auto -encoder(A E)；R e
sidual network
基金项目：国家重点研发计划深地专项项目（2016YFC0601100)；四川
省科技计划项目（2019C X R C0027)
收稿日期:2019 -07 -31修回日期:2019 -08-01
—455—
1引言
传统图像去噪模型可分为基于空间域、变换域、稀疏表 示以及自然统计四大类。其中具有代表性的方法有：基于空 间域的中值滤波法[n，此方法忽略了每个像素自身的特点，去噪后图像将会出现较为严重的模糊现象；基于变换域的 BLS- G S M U]，此方法在去噪的同时会丢失一部分有用信息；基于稀疏表示法的NLSC;3]，此方法去噪计算时间较长、去噪 效率低；基于自然统计的B M3D[4]，此方法只能滤除某种特定的噪声。
为了克服传统去噪模型的局限性，基于深度学习的非线 性、深度的图像去噪模型被大量提出。其中基于自编码（Aut o- encoder,A E)网络H 、卷积神经网络-8_1°](C o n v o l u t i o n a l N e u r a l Network,C N N)、生成对抗网络‘11M3] (G e n e r a t i v e Adv e r s a r i a l Networks,G A N)广泛应用于图像去噪领域。基于自 编码网络的d c a e n n[5]，可有效去除胸部X线图像的噪声，但只能去除已知的噪声，不具有泛化能力；基于栈式稀疏去 噪自编码网络的SSDAs [6]，通过多个SSDAs相组合，
将稀疏 编码与去噪自编码器预训练的深度神经网络相结合进行图 像去噪，但SSDAs较依赖有监督的训练，只能除去训练集中 出现的噪声；基于栈式去噪自编码网络的SDA m，由多层的 全连接网络构成，网络模型训练所需时间较长；基于残差卷 积神经网络的D N C N N[9]，利用残差学习和批量归一化来加 速训练过程，D N C N N模型能够处理水平未知的高斯噪声，但 不能去除种类未知的噪声；基于空洞卷积的IRCNN[M]，通过 使用空洞卷积增大感受野，进而使背景信息对重构受损像素 起作用；基于堆叠生成对抗网络的S G A M[12]，该模型将估计 图像分布分解为多个相对较容易的任务来处理数据，有较好 的去噪效果，但网络不易训练，资源消耗大，去噪的同时也会 生成假象；基于条件生成对抗网络的C G A S[13]，将训练过的 网络和锐度检测网络相结合来引导训练过程,C G A s减少了 生成对抗网络的训练难度，但去噪同时容易丢失特征信息。
本文提出的多功能去噪残差卷积自编码神经网络（M u l t i -F u n c t i o n a l D e n o i s i n g R e s i d u a l C o n v o l u t i o n Auto - Encoding N e u r a l Network，D R C A E N N m)和去噪残差卷积自编码神经网
(D e n o i s i n g R e s i d u a l C o n v o l u t i o n Auto- En coding N e u r a l Ne t-work，D R C A E N N)，均以残差块、B N层和自编码器组成的残差卷积自编码（R e s i d u a l C o n v o l u t i o n a l Auto- Encoder，R C A E)块为基本网络结构，将含噪声的图像经过网络模型训练优化，输出为去噪后的图像。与d n c n n[9]、d c a e n n[5]和IRCNN[14]模型对比，D R C A E N N在去噪质量和网络收敛
速 度方面表现最好，仅用其它网络训练所需的四分之一时间，就能达到最佳去噪效果；用单一噪声训练完成的D R C A E N-N m，不仅可以去除水平未知的噪声，还可以去除与训练数据 类型不相同的噪声，泛化能力超越已知的去噪网络模型。—456—2基本原理
2.1残差学习
残差学习（R e s i d u a l L e a r n i n g)[|5]解决了常规网络随着 深度的加深容易出现梯度弥散，而导致深层网络去噪效果变 差的现象。
Xi .
I d e n t i t y
图 1 ID B lo c k结构
以两层残差块为例，见图1所示，不加恒等映射（I d e n t i t y Mapping)时，经两层神经网络后输出可用式(3)表7T C: A经线性变换后用\+1表示，则
^,+1= ^i+l* + b u l
(1) \+1经激活函数g之后输出为A+1
A+l= g*hi+l(2)经两层神经网络后乂+2可表示为式(3)
^i+2= 8*h U2
(3)其中入+2为A+1经过线性变换后的输出。
若加上I d e n t i t y结构，网络第二层输出用i c〇i+2表示，见式(4):
尤(⑷i+2 =g
* (/i i+2 + A)(4)将式(3)、(4)展开：
^i+2 = g*(W i+2*«i+l+ b U l)
(5)
^i+2 = g*(W U2* X i+l+ b i+2+ X i)
(6)
假设 A+2=0A+2=〇则：
^.+2= g* 0 =0(7)
x(id)i+2= g*x(=(8)由式(7)、（8)可知，不加恒等映射时网络输出为零，即此节点发生梯度消失现象，而残差结构构成等函数后，保证 了来自后一层的梯度值完好的传到前一层，消除了梯度消失 现象。
2.2批置归一化
批量归一•化(B a t c h N o r m a l i z a t i o n,B N)保证网络正向 传播和反向传播时的输出在同一分布区间，可以解决梯度爆 炸现象。同时，批量归一化还能加快网络收敛速度、可代替 Dr〇P〇u t[n]层、提高网络泛化能力的优点。
假设某层的输人为* = U1，…)共n维批样本集 合为B= U,，x2,…，批量归一化见式(9)-式（12)
M b= 4- Y,xi(9
)
X
_ 弘《)2
M b
,,(n )
〇^B
ci (r e ) +/3(n )
(10)
(
11)
(12)
式中，> 为输人*的第n 维叫为样本集合S 的期望;〇■，为 样本集合B 的方差;*(i ))为输人*的正则化结果;y (">为x u> 的批量正则化结果;y B )、)3U >为待学习的参数。
Block 组成，最后一层为一个全连接层。
D R C A
E N N 和D R C A E N N m 网络整体结构见图2
、图3。
其中，输入为1〇〇 * 1〇〇的含噪声图像，输出是与输入对应的 降噪后的图像，为了减少有效信息丢失，提高去噪的精确度,
D R C A
E N N m 和D R C A E N N 两个网络均不使用池化层。
3残差卷积自编码网络模型去噪方法
为了高效去除图像中的噪声，以提出的RCAE Block 为
基本网络结构，搭建了 D R C A E N N 和D R C A E N N m 两个去噪
网络模型。
3.1 DRCAENN 和 DRCAENNm 去噪模型含噪图像可表示为
y =f + n
(13)
其中7为含噪图像;/为无噪声图像;n 为噪声。
本文选取均值平方差损失函数来指导D R C A E N N 和
D R C A
E N N m 去噪模型的收敛方向，其公式为：
MSE (O )
N X (/,(ri ；
e ) -/)2# 04)
其中/v 表示有/v 对训练样本;0= |〇<,M 为网络参数#为权 重必为偏执为模型预测的第
i 个不含噪的图像，乂
为第i 个真实不含噪的图像，对均值平方误差越小代表/p (y ,;0)与/越接近，网络去噪效果越好。
本文构建的D R C A E N N 和D R C A E N N m 去噪模型，其目 的为利用式（14)和自适应矩阵估计（Adam )算法[18]，通过不 断迭代优化参数0得到最优去噪网络模型，输出不含噪 图像。
3.2 DRCAENN 和 DRCAENNm 结构设计
3.2. 1 DRCAENN 和 D R C A E N N m 模型结构
D R C A
E N N 为2 *8的神经网络，艮P 有2个8层的RCAE
Block 组成;D R C A E N N m 共
17层，第一层由一个用来降维的
卷积层组成,2、3、4层由一个3层的RCAE Block 组成，为了 升维5、6、7层由一个C Block 组成，接下来的6层由2个3 层的RCAE Block 组成，然后为了降维14、15、16层由一个C
M
De n oising
f CBIodc
«RCAEBlock
SRCAEBlodc
100*100
L _____A *______J !______A #______J 100*100
图2 D R C A E N N 结构
3.2.2残差卷积自编码块
卷积自编码网络有助于提取图像主要信息，从而得到更 准确的潜在特征表达空间，在深度学习中为了让网络得到更 好的效果，常用自编码网络处理后的数据代替原数据。结合 残差网络和卷积自编码网络的优点，本文提出由残差块、BN 层和自编码结构组成的残差卷积自编码块（RCAE Block )。
图4为多层RCAE Block 结构。
l *l ,oonv ^____________________i !~| r
iv +bn ,643*3,conv +bn ,64
Relu j ：Relu
J 5*5,conv +bn ,64
j
3*3,conv +bn ,64
广
—
——
、
11 5*5,conv -fhn ^ I
i ^
E e h i 」丨
I
| 3*3，c o :nv +bnt a ~~| ^
——^ 制u — '
1
M axpo ^,Unp 〇ol |I
3*3,transpo ^
图3 DRCAENNm 结构
—457
—
其中，a 表示输人、输出特征图个数;n 为卷积核大小为5 *5和3 *3的双通道卷积层个数；捷径部分由两层编码器 (Encoder )、最大池化、反池化和两层的解码器（Decoder )组 成。RCAE Block 对比ID Block 有以下改进：
1) 恒等映射改为卷积自编码结构，此时输出为
X n*2 = F (x ) + X c a ,
(15)
为输入z 经过卷积自编码器提取的潜在特征，F U
)为输
人*经过n + 2个卷积层输出的结果；
2) 加人双通道卷积层，并配合网络参数，将原来两层卷 积层改为三层或三层以上；
3) 仅用Relu 函数，改为Relu 函数与B N 结合或单独使
用Swish 函数。
3.3
D R C A
E N N m
和D R C A E N N 激活函数选取
引人非线性的激活函数可以解决线性模型表达能力不 足的缺陷，在神经网络里面常用的激活函数有S i g m 〇id、Tanh 和Relu 等。其中，Relu 激活函数较为常用，但
Relu 有一个缺
点：后层的某个梯度非常大时，权重更新后就会变得更大，从 而引起该层的输人小于零，造成输出结果为零，因此该神经 元将不会被激活。
Swish 拥有不饱和、光滑、非单调性的特征，可以克服Re - lu 函数的缺点，同样模型参数下，仅将Relu 函数替换为
Swish 函数，可以提高模型的准确率。
Swish 函数为
f (x ) = x * sigmoid (p x )
(16)
式中/3为；c 的缩放参数，本文值取1。
图 5 为 RCAE B l o c k 与传统的丨D B l o c k 和 CONV B l o c k 迭代1万次去噪对比。
其中，RCAE - R Block 表示激活函数为Relu 的
RCAE
Block，RCAE - S B l o c k 表示激活函数为 S w i s h 的 RCAE Block 。由图可知，改进后的RCAE Block 在每次迭代仅增加
0.01s 的情况下，去噪能力明显优于ID Block 和C Block ，而 且选用Swish 激活函数的去噪效果好于Relu 激活函数。4
实验结果分析与对比为了验证D R C A E N N m 和
D R C A
E N N 网络模型的有效性
和准确性，使用汤姆林森地球物理服务公司（T o m l in so n Geo
p h y s i c a l S e r v i c e s I nc ，TGS ) 岩体识别挑战赛的地震数据集，并
100
200
300
400
500
600
700
Train Time/s
图5
单个残差块去噪对比
将其预处理为100 * 100像素的单通道灰度图像后进行仿 真，其中，2_张图像作为训练集，2000张图像作为测试 集。网络模型均基于T e n s o r f l o w l O . 1版本编写，运行环境
CPU 为 I n t e l C o r e i 7 -8750H ，GPU 为 NVIDIA G TX 1060。分
别在性能和运算时间两个方面与先进的D N C N N [9]、DCAE -
N N [5]和IRCNN [14]模型对比，说明本文方法的可行性。
4.1性能对比
从单一噪声去噪对比、盲去噪对比、不同类型噪声去噪
对比，三方面做性能对比。
1)单一噪声去噪对比
去除单一噪声表示，训练好的网络模型只去除与训练数 据水平相同的噪声。不同模型去噪平均P S N R 如表1所示，
最佳结果已加粗显示。
表1
不同模型去噪平均P S N R (d B )网络模型
〇■=
训练
：70测试a =训练：50测试a =
训练
=30测试D R C A E N N m 25.6225. 1527.4527.3529.8529.23D R C A E N N
25.7925.7827.5227.4230. 1930.51d n c n n
[9]25.5425.4327. 1827. 3330.0530.35d c a e n n [5]
24.8024.7026. 1225.6428.6327.99i r c n n
[14]
25.62
25. 12
27.31
27.21
29.85
29. 15
图6不同模型去噪结果
注：（a )原始图像；（b )噪声/14.57dB;(c) D R C A E N N m 去噪结果/27.99 dB;(d) D R C A E N N 去噪结果/27.75 dB;(e) D N C N N 去噪结 果/27. 66 d B ; (f) D C A E N N 去噪结果/26. 07 d B ; (g) I R C N N 去噪结果/27. 26 册。
—458
—
表1为不同网络模型对含高斯噪声（标准差(7分别为 70、50、30)的图像去噪效果对比，实验结果表明：〇既六£聊 的峰值信噪比最高，去噪效果最好；D R C A E N N m去除<1为 70、50的噪声效果要好于D N C N N，但当(T为30时DRCAEN-N m去噪效果稍逊于D N C N N;I R C N N去噪质量介于DRCAE-N N m和D N C N N之间；D C A E N N去噪效果最差。
通过主观评价法对比不同网络模型去噪效果，图6为C T =50的测试集去噪结果。
图6中第一幅图为原始图像，第二幅为含噪声图像，其 余四幅图依次为D R C A E N N m、D R C A E N N、D N C N N、D CA E-N N'I RC NN去结果，从标记框可看出：D R C A E N N m和D R-C A E N N在去除噪声的同时也可保留局部细节特征;D NC NN 可去除强信号地方的噪声，但在弱信号的地方容易丢失局部 特征;D C A E N N在去除去噪的同时，会去除大量原有信息; IRC1V N去噪保真度较高，但去噪同时也会产生一些不存在的 伪影。
由表I和图6结论可知，D R C A E N N单一噪声去噪效果 最好，D R C A E N N m次之。
2)盲去噪对比
盲去噪能力表示，此网络模型不仅可以去除与训练数据 水平相同的噪声，还可去除其它水平的噪声。表2为<7=70 的高斯噪声训练后的D R C A E N N m、D R C A E N N、D N C N N、D C A E N N、I RC NN模型盲去噪对比结果，最佳结果已加粗显示。
表2测试集盲去噪平均P S N R(d B)
网络模型a=90〇•= 80〇•= 60〇■=40
D R C A
E N N m24. 1524.8225. 7326.71
D R C A
E N N22. 3424.7825.6426.07
d n c n n[9]15.6617.8724. 5625. 21
d c a
e n n[5]23. 6224. 1024. 9725. 59
i r c n n[,4]20.2423. 5424.6818.61
表2用ct大于70的90、80和小于70的60、40测试<7= 70训练好的网络，由表2可知，本文提出的D R C A E N N m模型 去噪后效果最为明显，其中P S N R最高提升8.49dB；因此，D R C A E N N m模型去噪效果最好。
图7为用(7=70的单一高斯噪声训练后的不同模型去 除c x= 80的高斯噪声的结果。
(a)0>)(c)(d)(e)(<)(g)
⑷原始图像；（h)噪声/ 丨丨.68dB;(c)DRCAENNm去噪结果/26.31 dB;(d)DRCAENN去噪结果/26.10 clB;(e)DNCNN去噪结果/24.80 dB;
(f)DCAENN去噪结果/25.93 dB;(g)IRCNN去噪结果/24.54 dB
图7不同模型盲去噪结果
由图7标记部分示出，D R C A E N N m去噪后图像细节保 持完整，其它模型均产生较严重的模糊现象;IRCNN、D NC NN 去噪同时可使原图纯净的背景产生大量伪影，盲去噪效果 较差。
由表2和图7结论可知，D R C A E N N m盲去噪效果最好，在产生较少伪影的同时，可使去噪后的图像边缘光滑，主要 细节保留完整。
3)不同类型噪声去噪对比
传统方法去除高斯噪声一般采用线性滤波，椒盐噪声一 般采用中值滤波。然而，用单一的高斯噪声训练好的D R-C A E N N m模型，不仅可去除高斯噪声，还可去除类型、水平未 知的噪声。
本文分别用P S N R平均为20. 12d B的加性噪声：L o c a l-v a r;P S N R平均为25. 78d B的乘性噪声：Sp e c k l e;P S N R平均 为 18.49dB的椒盐噪声：S a l t - pepper(S&P)，测试(T= 50 的高斯噪声训练后的 D R C A E N N m、D R C A E N N、D N C N N、D CA E-N N、IRCNN去噪效果，表3为各模型去除与训练数据类型不 同的噪声测试对比结果，最佳结果已加粗显示：
表3不同类型噪声去噪P S N R(d B)
网络模型Localvar Speckle S&P
D R C A
E N N m27.0427.4528. 34
D R C A
E N N27.0424.0828.30
D N C N N [9]19.8216.7120. 19
D C A
E N N[5]25. 1826.3526. 39
I R C N N[14]20.3917.9721.48
由表3可知，用高斯噪声训练好的D R C A E N N m对比其 它模型，去除三种测试噪声后的图像有最高的P SN R，D R-C A E N N和D C A E N N次之，D N C N N和I R C N N不能去除其它种类的噪声。
图8为各模型去除S&P噪声的测试结果，从图中标注处 可知D R C A E N N m和D R C A E N N模型去除噪声的同时也能很 好地保留图像细节特征；D C A E N N模型可以去除S&P噪声，但去噪保真度较弱；D N C N N和I R C N N不能去除S&P噪声。
由表3和图8结论可知，D R C A E N N m模型去除类型、水 平未知噪声的同时，去噪效果和去噪精度最理想，其中PSNR
—459
—
