第34卷第3期2021年3月
模式识别与人工智能
Pattern Recognition and Artificial Intelligence
Vol.34No.3
Mar.2021
基于多残差网络的结构保持超分辨重建
张铭津1,2彭晓琪1郭杰1李云松1王楠楠1高新波1,3
摘要针对图像超分辨率重建中几何结构扭曲和细节缺失等问题，文中提出基于多残差网络的结构保持超分辨重建算法.在小波变换域和梯度域上进行深度学习.文中算法包含3种残差网络.残差梯度网络用于结构及边缘信息的重建.残差小波变换网络从整体上进行图像高频信息的重建.残差通道注意力网络通过调整网络注意力，着重学习重要的通道特征，从局部恢复图像高频信息，提高重建效率.实验表明，文中算法在定量结果和视觉效果方面均取得较优表现.
关键词超分辨率重建，深度学习，多残差网络，结构保持
引用格式张铭津，彭晓琪，郭杰，李云松，王楠楠，高新波.基于多残差网络的结构保持超分辨重建.模式识别与人工智能，2021,34(3):232-240.
DOI10.ki.issn1003-6059.202103005中图法分类号TP391.4
Structure-Prerving Super-Resolution Reconstruction
Bad on Multi-residual Network
ZHANG Mingjin1，2,PENG Xiaoqi',GUO Jie',LI Yunsong1,WANG Nannan1,GAO Xinbo'，
ABSTRACT Aiming at the problems of geometric structure distortion and missing details in image super-resolution reconstruction,a structure-prerving super-resolution reconstruction algorithm bad on multi-residual network is propod.Deep learning is carried out in the wavelet transform domain and the gradient domain.Three kinds of residual networks are introduced.The structure and the edge information are reconstructed by the residual gradient network.The high-frequency information of the image is reconstructed as a whole by the residual wavelet transform network.The network attention is adjusted by the residual channel attention network,the important channel features are emphatically learned,and the high frequency information of the image is recovered locall
y.Experiments show that the propod algorithm achieves better performance in both quantitative results and visual effects.
Key Words Super-resolution Reconstruction,Deep Learning,Multi-residual Networks,Structure Prervation
收稿日期：2020-09-25；录用日期：2021-02-05
Manuscript received September25,2020；
accepted February5,2021
国家自然科学基金青年基金项目(No.61902293)、陕西省高校科协人才托举计划项目(No.20200103)、中国科学院光谱成像技术重点实验室开放基金项目(No.LSIT201901W)、中央基本科研业务费新教师创新项目(No.XJS200112)资助Supported by Youth Fund of National Natural Science Foundation of China(No.61902293),Young Talent Fund of University Association for Science and Technology in Shaanxi(No.20200103), Open Rearch Fund of CAS Key Laboratory of Spectral Imaging Technology(No.LSIT201901W),Fundamental Rearch Funds for the Central Universities(No.XJS200112)本文责任编委徐勇
Recommended by Associate Editor XU Yong
1.西安电子科技大学综合业务网理论及关键技术国家重点
实验室西安710071
2.中国科学院西安光学精密机械研究所中国科学院光谱成
像技术重点实验室西安710119
3.重庆邮电大学图像认知重庆市重点实验室重庆400065 1.State Key Laboratory of Integrated Services Networks,Xidian
University,Xi'an710071
2.Key Laboratory of Spectral Imaging Technology,Xi'an Institu
te of Optics and Precision Mechanics，Chine Academy of Sciences,Xi'an710119
3.Chongqing Key Laboratory of Image Cognition,Chongqing
University of Posts and Telecommunications,Chongqing 400065
第3期张铭津等：基于多残差网络的结构保持超分辨重建233
Citation ZHANG M J,PENG X Q,GUO J,LI Y S,WANG N N,GAO X B.Structure-Prerving Super-Resolution Reconstruction Bad on Multi-residual Network.Pattern Recognition and Arti
ficial Intelligence,2021,34(3):232-240.
图像超分辨率(Super Resolution,SR)旨在从低分辨率(Low Resolution,LR)图像中恢复高分辨率(High Resolution,HR)图像.SR［l-5］为计算机视觉领域的基本问题，应用于多种图像分析任务，包括安全监控［6］、医学影像⑺、行人再识别［8-l0］等.由于每个LR图像可能对应多个HR图像，因此是一个不适定的逆问题.
近年来，深度学习发展迅速，研究人员将其与图像的超分辨率［ll-22］重建结合，取得有效成果.Dong 等［ll］提出超分辨率卷积神经网络(SR Convolutional Neural Networks，SRCNN)，将深度学习与图像超分辨结合，在重建效果与速度方面均有重大改进.然而,SRCNN网络过浅导致感受野较小、计算量较大、收敛速度较慢.为了使网络从低分辨率图像中学习更多信息，增强重建性能，通常需要增加网络层数.然而，简单的增加层数会给网络的训练带来难度，丢失图像细节信息，降低重建图像的质量.
因此，研究人员提出基于残差结构［l2-22］的算法，通过学习图像的高频细节，恢复高质量的图像，解决图像退化问题.Kim等［l2］将残差结构应用于卷积网络中，并将深度设计为20层，得到非常深的卷积网络(Accurate Image Super-Resolution Using Very Deep Convolutional Networks,VDSR)结构.Tai等［l3］将全局残差结构及局部残差结构与多权重递归操作结合，并将网络规模提升至52层，得到深度递归残差网络(Deep Recursive Residual Network，DRRN). Tai等［l7］还受到人类大脑皮层的启发，设计长期记忆网络模型(Memory Network,MemNet)，深度达80层，记忆单元利用门控机制自适应地保留和存储信息，从而建立长期记忆.Choi等［l8］提出具有选择单元的深度卷积神经网络(Deep Convolutional Neural Networks with Selection Units,SelNet)，设计非线性单元，即选择单元(Selection Unit,SU)，这是对修正线性单元(Rectified Linear Unit,ReLU)的优化，能更灵活地处理非线性功能.Li等［l9］设计多尺度残差网络(Multi-scale Residual Network,MSRN)，充分利用多尺度特征及全局特征，具有较好的可扩展性.级联残差网络(Cascading Residual Network, CARN)［20］为一种轻量级网络，设计目的是为了适用于实际场景，因此关注网络的速度，同时保证较优性能.网络采用局部级联和全局级联的方式，获取丰 富的信息.He等［2l］根据常微分方程，设计用于图像超分辨率重建的网络结构(Ordinary Differential Equation Inspired Schemes for Super-Resolution Network, OISR)，并将改进的前向欧拉公式用于残差块的设计.He等［2l］还联系网络与微分动力学系统，对残差块及超分辨率的映射过程做出数学解释.Zhang 等［22］结合注意力机制与图像超分辨问题，设计残差通道注意力网络(Residual Channel Attention Network,RCAN)，可自适应地学习重要的通道特征，
提高表达能力.RCAN采用残差中的残差(Residual in Residual,RIR)结构，并结合长跳连接和短跳连接，有效降低训练难度，提升网络效率.
现有算法虽然可生成高逼真度的超分辨率图像，但始终存在几何结构失真及缺少锐利边缘和精细纹理等问题.这些方法大多只采用单一功能的残差网络，没有根据图像的几何结构、纹理等特征选择具有特定功能的网络，缺乏灵活性和针对性.因此，本文提出基于多残差网络的结构保持超分辨重建算法，改变以往只在空间域进行深度特征提取的方式，转而在梯度域和小波变换域上设计深度网络，并加入残差通道注意力网络以调整网络关注图像的重要信息，有利于获得完整清晰的几何结构.本文提出的多残差网络包括残差梯度网络、残差小波变换网络及残差通道注意力网络.残差梯度网络能锐化几何图形的边缘，保留图像的结构信息.残差小波变换网络通过小波变换产生四个子带，包含图像的高频信息和低频信息，有利于纹理细节部分的恢复重建.残差通道注意力网络能调整网络的注意力，使网络关注到重要的特征，提高图像的重建效果.
l基于多残差网络的结构保持超分辨重建算法
1.1网络结构
本文的多残差网络结构如图l所示.网络主要由3个模块组成：特征预提取模块(Feature Preextraction Module,FPM)、特征映射模块(Feature Mapping Module,FMM)、重建模块(Reconstruction Module,R
M).
整个网络的输入记为X L R-在特征预提取模块
234模式识别与人工智能(PR&AI)第34卷
中，采用一个卷积层进行初始特征的提取:
F
CV
=/ CV
( F N
) , F
FMM
=
F CV
+ F
,
F 0
=
f FPM
( X LR
)，
其中,7fpm (-)表示特征提取网络的卷积运算,F 0表
示从X lr 中提取的特征.
在特征映射中，选择3种具有特定处理功能的
残差块，并嵌入可扩展残差组中，以进行图像超分辨 重建.这种结构突破残差学习的僵化，更具灵活性. 将第N 个残差块的输入记为F n -1，残差运算
其中F fmm 表示特征映射模块的输出.将F fmm 通过一
个上采样块和一个卷积层，得到重建后的图像:
X sr =/rm ( F FMM )=f MRN
( X LR
),
其中/rm ( •)表示重建模块(RM)的函数,/mrn (-)
表示整个网络(Multi-residual Network , MRN)的 函数.X r 为MRN 的输出结果，应与X hr 尽可能地匹
R N ( F N-1
) = R G,N
(F N-1
) + R
DWT,N
(F N-1
) + R
ca ,n
(F n -i ),
其中,R g ,n ( F n -1)表示残差梯度网络,R d WT,n ( F n -1)
表示残差小波变换网络,R ca ,n ( F n -1)表示残差通道
配对于训练集｛X ：r ,X H r |二1,L1损失函数［23］的定
义如下：
L (专)=l 移 〃MRN ( X L r ) - X H r 椰 1 ,
=1
注意力网络,
图1多残差网络框图
Fig. 1 Framework of multi-residual network
在残差梯度网络中，提取输入特征图的梯度并 通过简单的残差块，再经过卷积层，得到残差结果. 通过残差梯度网络，能有效捕获图像的几何信息，保
留图像的边缘细节.在残差小波变换网络中，对输入
特征进行二维离散小波变换，产生4个子带(即近
似、水平、垂直和对角线)，将4个子带输入卷积层, 提取图像的低频特征信息和高频特征信息，最后进
行二维离散小波逆变换.残差小波网络能有效恢复 图像的高频细节信息.
将F 0通过第1个多残差块，输出结果：
F 1
= F 0 + R 1( F 0
)-同理可得：
F = F 1 + R 2( F 1),
其中,x L r 为第k 个输入图像,x H r 为对应的高分辨
率图像,i 为训练对的数目.
1. 2
残差梯度网络
自然图像中包含丰富的几何结构及边缘信息,
而在重建过程中，几何结构通常会出现不期望的弯
曲、断裂等现象，边缘也可能存在模糊等问题，极大
地破坏重建图像的视觉效果.为了更好地保留几何
结构，获得清晰的边缘，引入残差梯度网络.计算相 邻像素之间的差异获得图像的梯度图［24］，残差梯度
块的目标是实现梯度图从LR 模式到HR 模式的转
换.残差梯度网络包括梯度块和卷积层.在梯度块
中，首先获取输入图像的梯度图，再将其通过一个简 单的残差块进行特征提取.
图像是一个二维的离散数组，通过推广二维连
续型求函数偏导的方法，求得图像的偏导数，即在
(x,y)处的最大变化率，即梯度.残差梯度网络的具
体操作过程如图2所示，考虑第N 个残差块，输入为 F n -1，有
鄣f n -1( x ，y
)
g
y =鄣y
=f n -1( x ，y + 1) -F n
-1( x ，y ),
则(x,y)处的梯度表示为
VF
N-1
以 g rad(F N-1)以[
g x ,g y ]T =dx ，dy
F n =
F
N-1
+ R N
( F N-1
),
其中,F n 表示第N 个残差计算的结果.经过N 次残 差提取，可得到完全提取的特征.将F n 通过卷积
层, 得
大小为
M(x ,y ) = mag( V F
n -1
) =
由于梯度强度足以反映图像中局部区域的锐利
程度，因此不考虑梯度方向信息，采用梯度强度图作
为梯度图.梯度图可看作是另一种图像，因此可利用
图像到图像转换的技术，学习两种梯度图之间的映
射关系.转换过程等效于从LR 边缘到HR 边缘的空
间分布转换.由于梯度图的大多数区域都接近于0, 因此网络可将更多的注意力集中在边缘的空间关系
上，以此捕获结构信息，
并为重建图像生成近似梯度
第3期张铭津等：基于多残差网络的结构保持超分辨重建235
图.将提取的梯度特征通过一个卷积层，即可得到残
差梯度网络的残差结果R G,N(F n-1).
F t
A
图2残差梯度网络框图
Fig.2Flow chart of residual gradient network
1.3残差小波变换网络
残差梯度网络从水平、垂直两个方向保留图像
的几何结构信息，增强图像边缘，但忽略其它方向的
信息，对图像的高频细节恢复不足，因此，本文引入
残差小波变换网络，保留图像的低频信息，以及水
平、垂直和对角方向的高频信息，包括几何结构及纹
理细节等.离散小波变换［25］是一种域变换，通常用
于图像处理.图像进行小波变换后为LL、LH、HL、
HH四个子带，其中LL子带与其它3个子带系数相
差较大，小波系数本质上是稀疏的，学习小波系数的
残差进一步增强这种稀疏性.稀疏性有助于加快训
练过程，因为它仅在很少的系数中包含大量信息.离
散小波变换可通过低通滤波器和高通滤波器逐层分
离图像.在将图像分解并通过离散小波变换剥离后,
获得包含不同频率信息的多个图像.可通过对不同
的图像执行特定的操作，实现更有针对性的处理.
残差小波变换网络的具体操作过程如图3所
示，考虑第N个残差块，输入为F N_\，首先对F n_，进
行二维离散小波变换，获得具有丰富频率信息的4
个子带图像(Sub-bands Images,SBI):
SB【f n_i={F N-1,LL,F N-1,LH,F N-1,HL,F N-1,HH1-
其中:F n-1,ll为低频子带图像，提取图像主要的结构
元素;F n-1,lh、F n-1,hl、F n-1,hh为高频信息丰富的图
像，主要提取图像的细节信息.
二维
离散
小波
变换
SB*,
二维
离散
小波
®变换R dwt,n
{j，j，'F N-i,hh}
图3残差小波变换网络框图
Fig.3Framework of residual wavelet transform network 然后，将这4种图像输入卷积层中以提取特征，再对提取的特征信息进行二维离散小波逆变换，得到R dwt,n(F n-1)-
1.4残差通道注意力网络
自然图像中信息分布不均，特征携带的信息具有不同的重要性.残差小波变换网络主要从整体上学习图像的高频信息，没有根据其重要程度进行学习.为了使网络专注于具有更丰富信息的特征，进一步恢复重要细节，采用残差通道注意力块.该残差块能根据不同输入自适应地缩放通道特征，给重要特征分配更大的权重，从而使网络将注意力调整到重要特征的学习中.
首先使用全局平均池将全局空间信息压缩至统计量y.对于第N个残差块，输入为F n-1，对其进行预处理后得到T=笃，笃，…，N，具有C个特征图，大小为Hx W.可通过将F n-1缩小空间尺寸Hx W获得统计量y沂R，则y的第c个元素为
1H W
y c=H GP(X c)=H^W移移T c(心)，
其中，T c(i,j)表示第c个特征T c在位置(i,j)的值, H gp(-)表示全局池函数.
为了通过全局平均池化层从聚合信息中充分捕获通道依赖关系，采用具有S形函数的简单门控机制：
s ca=/(渍2
(啄(渍1y))),
其中，/(•)表示S型门控函数，啄(-)表示ReLU函数，渍1表示卷积层的权重，以缩减比r进行通道缩减.在被ReLU函数激活后，低维信号随后由权重为渍2的信道放大层以比率r增加.
然后，获得最终的通道统计信息s，用于重新缩放输入T，得到残差通道注意力网络的残差结果：R CA,N(
F N-1)=［s1T1，…,S c T c，…,S C T C］,
其中,S c表示第c个通道中的比例因子,T c表示第c 个通道中的特征图.
通过通道注意力，残差通道注意力块中的残差分量能自适应地调整比例，从而增强网络的学习能力.
2实验及结果分析
2.1实验环境
本文将DIV2K［26］作为训练数据集，并在Set5数据集［27］,Set14数据集［28］,BSD100数据集旳、Urban100数据集［30］上进行测试.通过双三次插值对HR图像进行下采样，得到LR输入
.
236模式识别与人工智能(PR&AI)第34卷
在特征预提取模块(FPM)中，卷积核大小为3伊3.在残差梯度网络中，卷积核大小为3伊3.在残差小波变换网络中：第l层包含l28个大小为4x9x9的滤波器；第2层包含64个大小为l28x l x l的滤波器，用于非线性特征映射；第3层包含4个大小为64x5x5的滤波器，用于获得重建图像的4个残差子带；每层输出都加入ReLU激活函数，生成除最后一层以外的非线性激活映射.在残差通道注意力网络和特征映射网络(FMN)的其它卷积层都具有C= 64个滤波器，卷积核大小为3伊3.
在残差通道注意力网络中，通道缩减层的滤波器数分别为C/r=4，即缩减比r=l6.重建模块(RM)中的最后l个卷积层包括b个卷积核大小为3伊3的滤波器.由于网络的深度取决于模块的个数N，因此N的取值直接影响着网络性能.在网络中,N =22.当N>22时，网络性能有一定幅度的下降.
本文采用2个评价标准：峰值信噪比(Peak Signal-to-Noi Ratio,PSNR)，大小为信号最大功率与噪声
功率的比值.一般来讲，比值越大，重建效果越优.然而，在一些情况下,PSNR值越大，效果反而越差.因此，引入结构相似性(Structural Similarity, SSIM)[3l]，对比原始图像与重建图像整体结构相似度,SSIM值越大，表明两幅图像相似程度越高.两种指标结合可更全面评估重建图像的质量.
为了验证本文算法性能，采用如下对比算法：SRCNN[ll]、VDSR[l2]、DRRN[l3]、MemNet[l7]、Sel-Net[l7]、MSRN[l9]、CARN[20]、OISR[2l].
2.2小波变换和梯度的影响
为了验证残差小波变换网络的影响，从网络中删除残差梯度结构.放大倍数为4时小波变换网络和梯度网络对PSNR值的影响如表l所示.由表可 知，当小波变换和梯度结构都被移除时，在4个数据集上的PSNR值都很低.在加入小波变换后，在4个数据集上的PSNR值均有很大的提升.这些对比表明残差小波变换网络的有效性，表明小波变换过程中对图像高频细节的提取大幅提高重建的性能.
进一步研究残差梯度网络的效果.相比没有残差梯度块的网络，添加残差梯度块后的网络性能均有明显提升，由此验证残差梯度块的有效性，残差梯度块中对图像边缘细节的提取有助于提升图像的重建性能.
表1小波变换网络和梯度网络对PSNR值的影响
Table l Effect of wavelet transform network and gradient
network on PSNR
数据
集
无梯度有梯度
无小波变换有小波变换无小波变换有小波变换Set527.3l32.3332.2832.40
Setl425.2328.7028.6528.74
Bl0024.9827.6527.5427.68 Urban23.0026.4026.2026.44
2.3定量分析
评价图像超分辨重建质量分为主观评价和客观评价.主观评价是指通过人眼判定图像质量，具有片面性，因此通常作为评价图像质量的辅助指标.客观指标包括PSNR和SSIM.
各算法在4个数据集上进行不同放大倍数重建的PSNR值与SSIM值对比如表2所示.
表2各算法在4个数据集上的客观指标值对比
Table2Comparison of objective index values of algorithms on4datats 数据放大SRCNN VDSR DRRN MemNet SelNet MSRN CARN OISR本文算法集倍数PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 236.660.954237.530.959037.740.959l37.780.959737.890.959838.080.960537.760.959038.l20.960938.l30.96l0 Set5332.750.909033.670.92l034.030.924434.090.924834.270.952734.380.926234.290.925534.560.928434.580.9285 430.480.86283l.350.88303l.680.88883l.740.889332.000.893l32.070.890332.l30.893732.330.896832.400.8970 232.450.906733.050.9l3033.230.9l3633.280.9l4233.6l0.9l6033.740.9l7033.520.9l6633.780.9l9633.860.9l97 Setl4329.300.82l529.780.832029.960.834930.000.835030.300.839930.340.839530.290.840730.460.845030.480.8454 427.500.75l328.020.768028.2l0.772l28.260.772328.490.778328.600.775l28.600.780628.730.784528.740.7848 23l.360.88793l.900.896032.050.897332.080.897832.080.898432.230.90l332.090.897832.260.900732.290.9009 Bl00328.4l0.786328.830.799028.950.800428.960.800l38.970.802529.080.804l29.060.803429.200.807729.2l0.8080 426.900.7l0l27.290.072627.380.728427.400.728l27.440.732527.520.727327.580.734627.660.738927.680.7495
i b229.500.894630.770.9l403l.230.9l883l.3l0.9l95--32.220.93263l.920.925632.520.932032.680.9328
U；00n326.240.798927.l40.829027.530.837827.560.8376--28.080.855428.060.849328.560.860628.
620.86l6 l00424.520.722l25.l80.754025.440.768325.500.7630一一26.070.783726.070.783726.380.795326.440.7969
由表2可看出，SRCNN的结果最差,2种客观指的图像信息较少.MSRN与OISR的客观指标相对较标均为最低，这是由于算法只采用3个卷积层，学习高,MSRN充分利用图像的层次特征，而OISR 改进
