第42卷第3期青岛科技大学学报(自然科学版)
租房协议免费下载
2021年6月Journal of Qingdao University of Science and Tcchnology(Natural Science Edition)Vol.12No. J un.021
文章编号:1672-6987(2021)03-0107-06；DOI：10.16351/j.1672-6987.2021.03.017英语初级听力
车险种
双路多尺度残差网络的图像超分辨率重建
胡锐，赵佰亭*，贾晓芬
(安徽理工大学电气与信息工程学院，安徽淮南232001)
摘要：针对传统单幅图像超分辨率重建方法出现的边缘特征模糊问题，提出了一种双路多
尺度残差网络(BMRN)的重建方法。首先直接对低分辨率图像进行特征提取，较大程度保留
特征信息；再构建多个独立的双路多尺度残差网络提取高频信息，其中残差连接的引入可以有
效解决网络加深导致的梯度消失问题，双路多尺度结构可以相互补充卷积中的尺度信息，改善
网络中的信息流；最后通过上采样操作，得到重建高分辨率图像。在数据集Set.5上进行的X3奖项英文
尺度的重建结果表明：与Bicubic,SRCNN和VDSR等传统方法相比,BMRN的平均PSNR/
SSIM分别提高了 3.37dB/0.0532、1.01dB/0.0124和0.09dB/0.0004.实验数据充分说
明:BMRN能够较好的恢复图像轮廓特征，获得了较高的PSNR、SSIM和更好的视觉效果.
关键词：图像超分辨率重建；多尺度卷积；残差网络；亚像素卷积
中图分类号：TP391文献标志码：A
引用格式：胡锐，赵佰亭，贾晓芬.双路多尺度残差网络的图像超分辨率重建[J].青岛科技大
学学报(自然科学版)，2021，42(3)：107-12.
HU Rui，ZHAO Baiting，JIA Xiaofen.Image super-resolution reconstruction bad on bina
ry channels mult-scale residual network[J].Journal of Qingdao University of Science and
Technology(Nat.ural Science Edition)，2021，42(3)：107-112.
Image Super-resolution Reconstruction Bad on Binary Channels
Multi-scale Residual Network
HU Rui,ZHAO Baiting,JIA Xiaofen
(School of Electrical and Information Engineering,Anhui University of Science and Technology,HHainan232001,China)
Abstract:In order to solve the problem of fuzzy edge features in traditional single image su
per-resolution reconstruction method,a binary channel multi-scale residual network(BM
RN)reconstruction method is propod.Firstly,the low-resolution image features are ex
tracted directly to retain the feature information to a large extent.Secondly,veral inde-
pendentdualchannelmulti-scaleresidualnetworksareconstructedtoextracthigh-frequency information.The introduction of residual connection can e f ectively solve the problem of gra-
dientdisappearancecaudbynetworkdeepening,andthebinarychannelmulti-scalestruc-turecancomplementthescaleinformationinconvolutiontoimprovetheinformationflowin thenetwork；fina
l y,the multi-scaleresidualnetworkcanbeudtoextractthehigh-fre-quencyinformationthroughtheupsamplingoperation,thereconstructedhigh-resolution
收稿日期：2020-07-04
基金项目：安徽省高校自然科学研究重大资助项目(KJ2018ZD008)；国家自然科学基金项目(61501006)；国家重点研发计划专项资助项目(2016YFC0600908)；安徽省重大科技专项项目(16030901012).
作者简介：胡锐(1995—)男，硕士研究生.*通信联系人.
108青岛科技大学学报(自然科学版)第42卷
image is obtained.The3-scale reconstruction results on Set.5show that the average PSNR/ SSIM of BMRN is3.37dB/0.0532, 1.01dB/0.0124and0.09dB/0.0004respectively com怎么看电脑硬盘
pared with traditional algorithms such as Bicubic,SRCNN and VDSR.The experimental da
ta fully show that BMRN can restore the image contour features,and obtain higher PSNR,
SSIM and better visual effect.
Key words:image super-resolution reconstruction；mult-scale convolution；residual net
work；sub-pixel convolution
单幅图像的超分辨率重建，是一种从低分辨率图像恢复出高分辨率图像的技术。目前高分辨率图像广泛应用在遥感测绘、医学图像、视频监控和图像生成等领域中口3。受当前技术发展限制以及成本考虑，利用软件处理方法来获得更高分辨率图像，已经成为图像处理领域研究的热点。
对于传统的插值4和重建方法，通常存在着重建效果差，边缘模糊等问题。随着科技的发展，人们开始将目光放在深度学习技术上。DONG等6首次将深度学习引入到图像重建领域中，提出一种卷积神经网络的方法i super-resolution convolutional neural network,SRCNN)，通过构建3个卷积层实现图像重建。SHI等7提出一种亚像素卷积的方法(efficient,sub-pixel convolutional neural network,ESPCN)，不需要对低分辨率图像预处理，直接作为网络的输入进行特征提取，在最后一层对特征图进行排列实现上采样操作，减少低分辨率图像上下文信息的破坏，使得特征信息尽可能的得以保留。对于卷积网络来说，越深的网络，其处理能力也就越好，而在图像处理中，深度网络也能够更充分提取图像中特征信息，使得处理效果得到提升，但是在运用中发现，网络层数增加会导致梯度弥散问题。KIM等⑷结合残差网络曲，提出一种深度卷积网络的方法(very deep network for super-resolution, VDSR)，通过特征图的累加来解决这一问题。ZHANG等［0］提出了一种残差密集连接网络的方法(residual dens
e network,RDN)，通过多个残差密集块的相互连接融合，能够更有效的提取特征信息，提高重建质量。ZHAO等［11］构建了一种级联通道分割网络的方法(channel splitting network,CSN)，将特征信息在子网络中分散处理，来减轻深度网络的学习负担，提高训练效果。当前，在图像重建领域，基于学习的方法成为了研究的重点。
以上方法取得了一定的重建效果，但是均存在着感受野小、收敛速度慢以及信息丢失等问题，且所有的网络结构均是通过单一尺度的卷积核来提取特征信息，这里提出了一种双路多尺度残差网络(binary channels mult-scale residual network,BMRN)的图像超分辨率重建方法。将低分辨率图像直接作为网络的输入进行特征提取，减少网络参数量，降低训练难度，采用双路并行的多尺度残差卷积子网络对底层特征进行提取，得到高频信息，通过将亚像素卷积对特征图进行排列，最终得到重建图像，实现图像的超分辨率重建。
1残差连接
在理论上，神经网络的深度越深，所能够提取的信息也就越充分，对于后续的处理也就越有利。但是在实际中发现，简单增加网络深度，会导致网络出现梯度弥散问题。虽然正则化层能够避免这一问题，但是又会导致网络退化问题出现。为此，HE 等⑷提出了残差网络，用来维持网络稳定，增强信息的有效提取。公式为
0X2_0X］+D(X1,W1,1)_
3X1-3X1—
D(X1,W1
式(1)中：3X1为残差输入,3X2为残差输出, W1为权值,1为偏置量,D(X1,W1,1)表示残差过程学习映射。其结构如图1所示。
图1残差结构图
Fig.1Residual structure
2双路多尺度残差网络
对于图像的超分辨率重建来说，通过对LR图像中的细节特征提取利用，构建由LR图像到HR
第3期胡锐等：双路多尺度残差网络的图像超分辨率重建109
图像之间端对端的关系映射，最终实现高分辨率图像的重建.通常图像重建的效果与卷积核大小及网络深度有关，而对于每个图像特征都有着自己最佳的卷积尺度，在这种尺度上，图像的特征是最明显的.这里提出一种双路多尺度残差网络的单幅图像超分辨率重建方法.网络包含3个部分：特征提取、非线性映射和上采样与重建.网络中的特征提取部分是用于提取输入LR图像底层特征，非线性映射部分用于学习高频特征，最后的上采样与重建部分实现最终的重建.整个网络的结构如图2所示.
X
LR
SR
图2双路多尺度残差巻积网络结构
Fig.2Structure of binary channels multiscale residual network
「特征提取非线性映射1上采样与重建.1
2.1特征提取
为了更充分的提取低分辨率图像中的特征信息，这里采用两个串联的卷积层，卷积核的尺寸大小均为3X3.相较于大尺度卷积来说，利用两个串联的小尺度卷积，能够降低训练难度，获得更多的特征参数，便于后续的重建操作.
F0=H3X3(X).(2)
式()中X为输入的低分辨率图像，H3X3(-)是用3X3像素卷积核处理的关系映射，则F1= H3X3(F)).
50次初恋
2.2非线性映射
TANG等口幻和ZHAO等［11］通过构建独立子网络来增强网络性能.如图3所示，在非线性映射阶段，通过双路并行的串联MRN子网络构成，上下两支路之间彼此对称相似，为了避免单一尺度多导致的特征提取不充分的弊端，这里对两条支路分别采取尺寸大小为3X3像素和5X5像素的卷积核来实现.后续通过融合操作将两支路特征数据融合，利用1X1卷积层降维，并将网络的输入参数引入，建立起残差模块，避免数据膨胀和网络衰退.
假设整个非线性映射网络被表示为N m(•)，则该模块的输出为N m(X)).这里以上支路为例，假设在上支路中有”个MRN1，并且X)=F1是第1个的输入，那么第i个MRN1输出X?有
X A=N A(X,1),=0,1,,•••,",(3)其中N i(-)对应着上支路中第i个MRN1的过程.因此，对于最后输出的MRN1值有
x n=N n(x n1)=N A(N A1t-N A(X0')-)).
(4)
对于下支路MRN2同理.
局部残差学习(LRL)
白云造句
图3MRN1独立子网络结构
Fig.3MRN1independent network structure
图3为上支路MRN1独立子网络结构，其中每条支路包含j个串联的残差结构(=1,2，…，
从上一个MRN1模块的输出X1作为第i个MRN1中第1阶段的输入.这里设X A，为第i个MRN1中第j阶段映射的输入，其中的z=0,1,2,…，"和j=0,1,2,…，m，则第1阶段的输入为X A,
=
110青岛科技大学学报(自然科学版)第42卷
X A1。对于MRN1中单个残差结构的运算则有X j1=［max(H3X3(X j)0),X j］。(5)
公式(5)中max(，为激活函数运算，［…］表示“concat”连接。
在MRN1结构中，最终生成的特征映射Ki.1会通过一层卷积结构，然后将局部残差学习(Local Residual Learning,LRL)引入，达到改善信息流的作用。表达式有
x A=k A+x A1=H1X1(X A”)+X A1。(6)公式(6)中，H1X1(-)是在MRN1结束部分的1X1卷积运算，用来改变数据维度，残差特征X A1来自MRN1模块的输入，不受其它特征的影响。下支路MRN2同理。
为了获得重建图像，还需要进行上采样重建操作。分别将非线性映射部分中上下支路每个独立子网络的输出结果全部连接成一个张量，得到特征数据X M和X M，然后叠加融合得到X M，最终将输入到上
采样重建阶段进行重建操作。其中的X m有x m=x M+x M=
［x A ,x f，…，x h+［XB,X B,…，X B］。(7) 2.3上采样与重构
这一部分利用亚像素卷积实现上采样操作，对于非线性映射模块的输出X M，先后通过1X1和3X3的卷积来处理，降低参数量，便于计算。后续将特征提取阶段的F1引入，构建全局残差模块稳定模型，最终得到待恢复的融合特征数据X r。
X r=［F3,F()］=［H3X3(F2),F()］=
［H3X3(H1X1(X M)),F0］。(8)为了得到最终的重建图像，需要对所获得的特征数据X r进行亚像素卷积上采样，实现图像尺寸的提升，然后经过3X3卷积处理，调整参数量，最终获得重建的高分辨率图像y。公式有
人
y=H3X3(y)=H3X3(P s(X R))。(9)
其中P s(-)为对应的亚像素卷积上采样函数，人
y为待重建图像。
3实验结果及分析
钢的琴影评3.1实验准备
实验采用的硬件平台中CPU为Intel(R)Core (TM)i7-7700,GPU为NVIDIA GTX1060，实验环境为python 3.7，深度学习框架为TensorFlow 1.10。采用了在SRCNN中所使用91张图片作为训练数据集，为了达到更好的重建效果，还使用了BSD训练集中的200张图片，共291张图片作为训练数据集。为了避免过拟合，使用旋转、翻转的方法，使得训练集扩充4倍J13］。为了较为准确的评判模型的优劣，这里采用当前主流的Set.5.Set.14. BSD100和Urbanl00作为测试集来分析研究J14］。
在网络训练过程中，首先对训练集图片进行预处理，裁剪为若干个原始高清图像块，其中步长16，分辨率为32X32。接着随机选取64个作为一个bath，进行插值下采样来缩放3倍，然后输入到网络中训练。为了加快训练速度，减少训练复杂度，将独立子网络的数目设置为5个，每个子网络中的残差单元数目设置为3个，卷积层设置为64通道。
网络模型是基于LR图像到HR图像之间的关系映射决定的，通过使得重建图像与高清图像之间损失最小化实现模型的建立。这里使用11损失来进行模型的训练。
I D
L&=|D|Y II-P bn m3c3>旧)II。
(10)其中：®为整个模型训练集，P b”r”(-)为网络的映射函数为输入LR图像,y"为对应HR图像。
3.2实验结果
3.2.实验评价标准
对于重建图像的客观评价，当前常用峰值信噪比(peak signal to noi ratio,PSNR)J15］和结构相似性(structural similarity,SSIM)J16］来判定。
PSNR是用来描述随机噪声对重建图像所造成的失真情况。计算公式为
(2L—1)
V p S NR=10Xlg(—亍----)。(11)
V MISE
其中丄为最大的灰度等级;V m为均方误差。计算得出的V psn R值越大，表示重建后图像的质量越高。
SSIM是用来衡量两幅图像之间的结构相似度，从对比度、结构特征和亮度上对图像的质量进行考虑。计算公式为
分别为x和y的方差,*为乞和y的协方差。计算得出的SSIM值越大，表明图像越相似，重建的效果就越好。
(12)
。=1N(x
y N_1厶"=1("
0)y—0y)。(13)其中和分别为X和y的平均值，而5和5y
第3期胡锐等：双路多尺度残差网络的图像超分辨率重建111
3.2.2实验结果对比与分析
为了验证BMRN方法的优势，这里将BMRN 与Bicubic^、SRCNN[]和VDSR8方法进行重建效果的比较。
表1为各方法在Set.5数据集中进行单幅图像重建测试的PSNR值，表2为各方法在Set5、Set14、BSD100和UrbanlOO共4个测试集上进行的3种放大倍数的平均PSNR和SSIM值，表中优者均用黑体表示。从表1中可以发现，针对Set.5测试集的5幅图像重建比较，相较于Bicubic.SRCNN和VD-SR方法,BMRN方法的PSNR数值表现均为最高，平均值分别提高了4.05、1.05和0.18dB从表2中可以发现,BMRN在不同数据集的重建测试中，多数获得了最高的PSNR和SSIM测试结果，VDSR 为次优结果。在X2、X3和X4三个尺度下,BMRN 的PSNR值分别比VDSR提高了0.11、0.02和0.07dB。与数据集Set5、Urban100和BSD100相比,BMRN在数据集Set.14上获得了最高的PSNR 增加。比如，在X2尺度下,BMRN的PSNR值分别比Bicubic、SRCNN和VDSR提高了 3.09.0.88和0.30dB。综上，在客观评价指标中,BMRN方法表现最好。
表1不同重建方法在Set5测试集上重建效果的PSNR(dB)对比
Table1PSNR(dB)comparison of different reconstruction methods on t5test t Set5尺度Bicubic SRCNN药VDSR药BMRN Baby X236.913930383438.87 Bird X236.38403142.3642.86 Buterfly X229.373431343134.71 Head X233383534353235.98 Woman X231.36343436.1236.37平均值X233.6636.6637.5337.71
注：黑体为优者。
表2不同重建方法在4个测试集上的PSNR(dB)/SSIM比较
Table2Comparison of PSNR(DB)/'SSIM of different reconstruction methods on four test ts 数据集尺度Bicubic SRCNN药VDSR药BMRN
X233.66/0.929936.66/0.954237.33/0.959037.71/0.9596 Set5X330.39/0.868232.75/0.909033.67/0.921033.76/0.9214 X428.42/0.810430.48/0.862831.35/0.883031.48/0.8834
X230.24/0.868832.45/0.906733.03/0.912433.33/0.9153 Set14X327.35/0.774229.30/0.821529.78/0.832029.81/0.8352 X426.00/0.702727.50/0.751328.02/0.768028.14/0.7647
X226.88/0.840329.50/0.894630.76/0.914030.79/0.9241 UrbanlOO X324.46/0.734926.24/0.798927.34/0.829027.10/0.8275 X423.14/0.657724.52/0.722125.18/0.754025.19/0.7552
X229.36/0.843131.36/0.887931.90/0.896032.10/0.9023 BSD100X327.21/0.738528.41/0.786328.83/0.799028.84/0.8054 X425.96/0.667526.90/0.710127.29/0.726027.31/0.7279注：黑体为优者。
为了更加直观的比较BMRN方法的优势，这里将BMRN与Bicubic、SRCNN和VDSR方法进行主观视觉效果的比较。在Set.5.Set.14.BSD100和UrbanlOO测试集中共选出4幅图像作为测试图像，分别输入到各方法模型中来实现X3尺度下的重建操作，最终的重建效果如图4所示。
从图4中可以看出，相较于其它方法,BMRN 重建的图像在PSNR和SSIM评测指标上均为最高，从重建图像的细节上看,BMRN和VDSR方法相较于Bicubic和SRCNN方法来说，得到的图像更为清晰，边缘细节以及轮廓特征更为明显，但是BMRN方法的视觉效果最好，锐度得到了一定的增强。综上，在主观评价比较中,BMRN方法表现的最好。
