·85·
基于图像超分辨率的遥感图像树冠目标检测
陈 振，赵亚凤，张志超
（东北林业大学 信息与计算机工程学院，黑龙江 哈尔滨 150040）
摘 要：针对目前遥感图像质量较差导致对其中物体检测效果低下的问题，本文提出一种基于生成式对抗网络（GAN）的图像超分辨率方法来提升遥感图像整体质量，并对现有常用目标检测算法YOLO 进行研究。针对遥感图像中树冠不容易检测的特点，将超分辨率运用于检测遥感图像中的树冠，对特定区域内树冠数量及定位进行统计。实验结果表明超分辨率方法对目标检测起到积极作用，检测精度提升约为8%，有利于对特定地区树木种植数量的统计工作。
关键词：生成式对抗网络；超分辨率；目标检测；树冠；遥感图像 中图分类号：TP757 文献标志码：A 文章编号：1672-1047（2021）03-0085-09
DOI:10.3969/j.issn.1672-1047.2021.03.23
收稿日期：2021-05-02
作者简介：陈 振，男，湖北黄州人，电子与通信工程硕士研究生。研究方向：计算机视觉。
由于拍摄因素的影响，遥感图像往往质量不佳，需要通过预处理后投入研究使用，传统预处理包括校正、配准、去噪等步骤，耗时耗力且需要较高的专业知识。因此，如何高效获取高质量的遥感图像成为一项研究内容。随着超分辨率生成式对抗网络的问世，可以在原有低分辨率遥感图像基础上训练出高分辨率遥感图像。另外，目标检测技术是一项重要的研究，如对遥感图像中树冠进行目标检测，有利于土地规划、植树造林工作的统计。
利用图像超分辨率技术可以获取图像中目标的深度信息，目标检测技术可以识别图像中关键目标的类别和位置。在本文研究应用中，将两者相结合，实现对树冠的精准检测，继而评估林业资源、植树造林程度，为林业智能化提供新的思路。
1 超分辨率理论基础
作为目前在图像生成和图像复原领域最为优秀的深度学习算法，生成对抗网络作为一个极其高效的框架，能够生成具有欺诈性的图像以模拟真实图像，将这类算法应用在图像超分辨领域是一个值得一试的想法，本节主要对一种基于感知损失的生成对抗网络（GAN）图像超分辨率方法进行研究，首先介绍生成对抗网络的基本原理，继而定义感知损失函数，最后研究生成器网络和判别器网络的详细构造。 1.1 生成式对抗网络基本原理
GAN 框架中包含两个主要神经网络模块：生成器网络和判别器网络。生成器网络的基本思想是输入一个训练集数据，训练网络来对这些样本的概率分布进行推理，最终实现输入一个随机的噪声信号，如均匀分布或高斯分布来输出一个与输入样本极其相似的结果；而判别器网络的作用则是区分自然样本和生成器网络生成的样本，判断生成器网络生成的样本图像是否是真实图像，该网络最后会输出一个概率以表示样本的真实度。在训练过程中，两个网络相互促进竞争，同时参与训练，生成器网络的目的是生成足够真实的图像以使判别器网络认为它是真实图像，而判别器网络的目标是尽量区分真实样本与生成样本，二者构成了一个纳什均衡，最终希望生成图像达到以假乱真的目的。GAN 网络的具体结构如图1所示：
V ol.23 No.3 Jun.2021
第23卷第3期
2021年6月
黄冈职业技术学院学报Journal of Huanggang Polytechnic
·86·
松树的作用
图1 GAN 网络原理图
生成对抗网络的最终目的是达到动态中的平衡。因此，可以通过数学公式来描GAN，即同时得到网络的目标函数。假设单个训练样本数据为
x ，样本数据的分布为()data P x ，是一个未知数，
生成器网络的目标是学习真实的样本数据分布，设输入噪声z 的分布为()i P z ，是已知的，希望得到的生成器网络的输出()G z 的分布尽可能接近于()data P x 。使用交叉熵损失的原则来得到GAN 的损失函数，可以得到下面的公式：
~()~()min max (,)[log ()][log(1(()))]
G D x p x Z p z V D G E D x E D G z =+- （1-1）
损失函数中的前半部分表示真实的训练样本，后半部分表示已知的噪声样本。其中，()D x 和(())D G z 分别表示判别器网络判断输入的样本图像是否是真实图像的概率，判别器网络的目的是希望(,)V D G 越大越好。
1.2感知损失函数
非运动状态下的一幅图像的超分辨率主要是指从低分辨率图像LR
I
中推测出其的高分辨率版
本HR I [4]
。在网络模型训练过程中，HR I 为原始训练集中的图像，其低分辨率图像LR I 由其下采样得到。
由低分辨率输入图像LR I 推测出其对应的高分辨率图像，需要将训练的生成器网络作为前馈神经网络G G θ，其中{}l:l:;G L L W b θ=，是一个深度为L 层的神经网络中全部权重和偏置参数的集合，通过特定的超分辨率损失函数来不断更新。
对于一组给定的训练图像,1,HR
n I n N =⋯和相应
的低分辨率输入图像，可用下述公式来描述生成器网络需要得到的结果（即使由生成器生成的虚假高分辨率图像无限接近真实高分辨率图像）：
()()
1
1
ˆarg min ,G
G形容美人
N
SR LR HR G n n
n l G I I N
θ
θθ==∑ （1-2）
祖国母亲生日快乐进一步地，还需要定义一个判别器网络D D θ，
在对网络进行优化时需要与生成器网络一起训练，由此得到如下公式：
()()()()()()
~~min max E log E
log 1HR
LR I p
I I p I D I D G I θθθ
θθ⎡⎤⎡⎤+-⎣讲纪律守规矩
⎦⎣
⎦
（1-3）
该公式旨在同时训练生成器G 来欺骗判别器D；训练判别器D 的作用是判断输入的虚假图像是否是真实的图像。并不断迭代训练，反作用于生成器，使其不断优化生成的虚假图像，最终使判别器难以辨别。
传统方法使用的损失函数SR I 为最小均方差（MSE）[2]
。其重建结果具有较高的信噪比，尤其是当图像的放大倍数在4以上时图像容易显得过于平滑，缺少一些细节信息，以至于不太真实，不利于目标检测的特征提取。其公式如下：
()
()2
,2
,11
1G rW rH SR
HR LR
MSE
x y
x y故园
x y l
I
G I
r WH
θ===-∑∑ （1-4）
因此本文在其基础上结合上文的分析对将损失函数改为如下公式：
3X Gen content loss adversarial loss perceptual loss (for VGG bad content loss)
10SR SR SR l l l -=
+ （1-5）
上式中前者是基于内容的损失函数，后者是基于对抗的损失函数。其中上述公式中的损失函数与感知相似性更接近。定义,i j φ为VGG 网络中第j 个卷积模块中的第i 个池化层输出的特征图，则可得该最小均方差的公式为：
()
(,,/.,,11
,,1i j i j
W H SR
HR
VGG i j
i j
x y
x y i j i j
l
I W H φ===
∑∑
（1-6）
其中，,i j W 和,i j H 分别表示输出特征图的宽和高。第二部分的对抗学习的代价函数是基于判别器输出的概率，其作用是促进生成器生成更接近于原始图像的样本，以输出能够以假乱真的高分辨率图像
()
()
Gen
1
log D G N
SR LR n l
D G I θθ==-∑
（1-7）
·87·
其中，()()D G LR
D G I θθ为判别器将生成器重
建图像认为是自然高分辨率图像的概率。
1.3网络整体结构
（1）生成器网络
生成器网络G 的总体框架基于Resnet 网络，主要采用多个相同的残差块组成，每个块的结构
具体如图2所示，每个卷积层的卷积核大小为3*3，每个残差块输出的特征图维度都是64，并且在卷积过程中通过填充等操方式来保证特征图的尺寸分辨率不变。在网络的输出部分，使用两个步长为0.5的反卷积层来提升输出图像的分辨率。
LR 图像
HR 图像
图2 生成器网络G
鬼索（2）判别器网络
判别器网络D 的主体结构为VGG 网络，并在卷积神经网
络的
每一层的最后加上一个LeakyReLU 层以进行激活，在特征图输出之前用BN 层进行归一化操作。网络整体采用多个相同的卷积块组成，每个卷积块的结构具体如图3 所示，卷积核步长和滤波器个数随层次的升高而不断增
加，特征图的分辨率不断降低而其维数不断增大，最后一个卷积层输出一个维度为512
的低分辨率特征图。在网络最终输出部分，使用两个全连接层将特征图输出成一个概率，该值代表判别器能否能鉴别出超分辨率图像和真实图像的置信度得分，分数越高表示判别器认为输入图像是真实图像的可能性越大。
SR 图像
HR 图像
图3 判别器网络D
生成器网络G 和鉴别器网络D 具有不同的网络结构，但二者实质上属于同一个网络结构。因此在反向传播梯度时，二者的参数是互相共享的，并且共同进行训练和更新。
1.4模型复杂度与小批次处理
在硬件设备上进行深度学习算法运算时，需
要考虑硬件设备是否满足算法所需要的内存及计算机算力的要求，我们可以采用模型复杂度分析的方法来估量。主要的衡量指标是模型计算量
FLOPs （floating point operations）和参数（parameters）
数量。
其中，深度学习的模型主要计算量是在卷积
·88·
层，卷积层的计算方式为滑动窗口计算，每层计算量为：
()221in out FLOPs HW C K C =+ （1-8）
其中，H 和W 为输出特征的宽和高，in C 与
out C 分别为输入和输出图像的通道数，
K 为卷积核的大小。主要的参数量则位于全
连接层中，其计算公式为：
parameters IO = （1-9）
I 和O 分别为输入和输出的特征向量大小。最
终，结合自身实验硬件内存及计算机算力得出能否运行该算法，当不满足条件时需要采取方法减少模型复杂度。在本文中，由于直接采用原始遥感图像进行超分辨率实验时出现内存不足的情况，这是由于单次卷积运算复杂度太大而造成的，因此提出了一种“小批量处理”的方法，先将一张图像切分成若干张小图像进行超分辨率，超分辨率完成后再将它们合并得到一张完整的超分辨率图像，这种方法能够大幅降低单次运算时的模型复杂度。
如一张512*512的图像经过1*1大小卷积核后的单层卷积计算量为FLOP =2*512*512*4*3 =6291456，而一张128*128的图像在同样大小卷积核中的作用下单层卷积计算量缩小16倍变为
FLOP =393216。因此将一张512*512的图像分割
成16张128*128的图像能够大幅减少模型单次运算时的算法复杂度。通过实验验证，这种“小批量处理”的方法能避免内存不足的情况，在当前实验硬件条件下亦可完成实验。 2遥感图像超分辨率
2.1数据集构建
本文超分辨率及后续目标检测实验所用数据集为NWPU VHR-10 datat。包含800张光学遥感图像，作为原始未处理数据集。由于遥感图像中往往包含较多的树冠，如图4所示。我们将其中包含树冠的图像挑选出来作为一个树冠图像数据集，挑选出包含独立树冠的遥感图像233张。针对树冠在遥感图
像中尺寸小、特征不明显、易与草地混淆以及易成群造成标注困难的特点采用超分辨率方法缓解问题，继而采用目前主流的目标检测YOLO 算法[5]
进行实验检测独立树冠，
证明gb50176
对于一些如树冠这样直接检测难以取得较好效果的目标，可以结合超分辨率方法实现检测精度提升。
图4 包含独立树冠的遥感图像
对其中的独立树冠进行像素上的精确定位，
检测其数量及方位，便能对统计特定地区绿化程度，树木种植数量的统计工作上提供一定程度的便利，并结合相应绿化指标如特定面积应该种植多少树木，得出该地区是否达到绿化标准。因此，如何能准确的对遥感图像中的独立树冠进行精确的目标检测具有其实际效用。
本文将采用基于生成式对抗网络的图像超分辨率方法，并基于NWPU VHR-10 datat 数据集构建自己的树冠遥感图像数据集，提高树冠数据集的分辨率并采用YOLO 目标检测算法分别对分辨率提升前后数据集进行测试，对比树冠的检测精度，以期实现通过超分辨率来提高对树冠的检测精度。
2.2 超分辨率实验
本节将基于前文理论搭建出一个超分辨率生成式对抗网络（SRGAN）模型。对基于NWPU VHR-10 datat 构建的树冠遥感图像数据集进行超分辨率实验。首先，需要构建一个图像分辨率相同的待超分辨率数据集（即低分辨率数据集）。因此首先需要将所有图像统一下采样（subsampled）到128*128的尺寸大小，即得到了低分辨率数据集，随后通过迁移学习的思想引入预训练权重训练出一个实现分辨率提升4倍的超分辨率模型。
跳棋最快21走法图解其具体步骤如下所示： （1）首先将树冠遥感数据集中的图像进行裁剪处理得到一个长宽相同的图像后进行缩放使其所有图像尺寸大小为512*512，在这个过程中需要尽可能的保留所有待检测树冠，剔除一些不必要的背景信息。将这个处理后的数据集作为真实的
·89·
高分辨率图像数据集（HR 数据集）。其对应的低分辨率图像（LR 图像）由其下采样获得：当HR 数据集进入超分辨率网络时，算法首先会将其随机切割为16个尺寸为
128*128大小的LR 图像，如下图5所示。
长*宽=512*512 长*宽=128*128
图5 小批量处理前后的图像
（2）在参数设置方面，首先预设学习率参数为410lr -=学习率的迭代更新次数为6
10。并采
用Adam 优化算法[3]
来计算每个参数的自适应学习率，设置β为 0.9，以此便能使模型训练效果更佳。此外，设置总训练批次epochs 数为50，网络每一epoch 的训练次数batch-size 大小为32以节省计算资源。定义初始的感知损失函数为
/2.2SR SR
VGG l l =。
且在正式开始训练时结合迁移学习思想引入已经训练好的基于ImageNet [4]
图像的超分辨率模型权重来加速本文模型的收敛以及节省计算资源。
（3）训练时设置上采样因子为4（即将低分辨率输入图像的分辨率提高四倍），则切割后的每一个12
8*128的图像分辨率提高到512*512。即实现一张512*512图像扩充为16张512*512图像。若将这16个图像再拼到一起就能得到一个2048*2048大小的超分辨率图像，也就实现了4倍的分辨率提升。
将这233张包含独立树冠的图像按上述方法
处理，最终得到图像数量为3728的超分辨率独立树冠遥感图像。作为对比，将每张图像切割后得到的128*128图像不进行任何处理得到3728张普通独立树冠遥感图像。其中切割后的部分图像不再包含树冠，这些图像中总计包含独立树冠数为5489棵。
对数据集中3728
张独立树冠图像进行4倍分辨率提升。训练测试集比例9:1。可以看出，超分辨率图像的质量较原始图像有较大提升，如下图所示：
图6 独立树冠图像超分辨率
3遥感图像目标检测
3.1 YOLO 目标检测网络
YOLO 算法（you only look once），是标准的one-stage 算法，即同时完成对待检测物体的位置检测和类别检测，具有运算精度高以及运算速度快等优势。从2016年提出YOLO V1至今通过原作者的不断完善，已经成为目标检测领域综合性
能最强的算法之一。其最新一代YOLO V4目标检测的整体框架如下图7所示：
图7 YOLO V4整体框架图
