第36卷第1期2021年2月
遥感信息
Remote Sensing Information
Vol.36,No.1
Feb.,2021
利用Deeplab v3提取高分辨率遥感影像道路
韩玲“，杨朝辉i，李良志i，刘志恒i，黄勃学i
(1.长安大学地质工程与测绘学院，西安710054,2.陕西省土地整治重点实验室，西安710054)
摘要：针对传统道路提取方法存在的道胳边缘粗糙、抗干扰性弱、提取精度低等问题，提出了一种基于编码解码器的空洞卷积模型(Deeplab v3)的道路提取方法。首先，对原始高分辨率遥感影像进行标注；其次，利用标注数据集对Deeplab v3模型进行训练、测试；最后，得到高分辨率遥感影像道路提取结果。分析结果可知，该模型能够较好地提取高分辨率遥感影像中的道路边缘特征，相比其他道路提取方法具有更高的提取精度和更加完整的道路信息，正确率可达到93%以上。
关键词：道路提取；高分辨率遥感影像；深度学习;Deeplab v3；空洞卷积；空洞空间金字塔池化(ASPP)鲈鱼怎么养
doi：10.3969/j.issn.1000-3177.2021.01.004
平基
中图分类号:TP751文献标志码：A文章编号：1000-3177(2021)01-0022-07
Road Extraction of High Resolution Remote
Sensing Imagery Bad on Deeplab v3
HAN Ling1'2,YANG Zhaohui1,LI Liangzhi1,LIU Zhiheng1,HUANG Boxue1
正方形折纸(1.School of Geology Engineering and Geomatics, Chanan University,XVan710054
2.Shaanxi Key Laboratory of Land Consolidation9Xi f an710054,CAzna)
Abstract:A new road extraction method bad on the Deeplab v3model is propod to solve the problems of traditional road extraction methods such as rough road edge,weak anti-interference and low extraction accuracy existing.A three-step procedure is developed in this study for extracting road
s bad on high-resolution remote nsing image.Firstly,label the high-resolution remote nsing image.Secondly,the Deeplab v3model is trained and tested by using the label data t.Finally,get the road extraction results of the high-r esolution remote nsing image.The results indicate that the Deeplab v3model can excellently extract the road edge features combined with the high-resolution remote nsing image.Compared with other road extraction methods,this propod method displays more complete extracted road information and higher extraction accuracy,which has the accuracy over93%.
Key words:road extraction；high resolution remote nsing imagej deep learning；Deeplab v3；atrous convolution；atrous spatial pyramid pooling(ASPP)
0引言
道路信息是许多应用的必要组成部分，如车辆导航E、城市规划図、智能交通⑷、地理信息系统更新⑷、土地利用检测阪等。高分辨率遥感影像具有分辨率高、地物信息丰富、易获取的特点金乃，因此，研究如何有效地从高分辨率影像中提取道路信息具有很大的应用价值。遥感影像道路提取是根据遥感影像自身的信息，通过某种算法提取道路独有的各类特征并将其分割为2个互不相交的子空间，进而将符合道路特征的像素划分到道路子空间，其余像素则为非道路。但是由于高分辨率遥感影像的
光谱特征非常丰富，“同物异谱”和“异物同谱”现象非常明显⑷，因此传统的基于像元的方法如光谱分析、阈值分析、边缘检测等简单易实现但易产生噪声，导致误判，使得提取准确度较低。传统的面向对象方法如最近邻凹、支持向量机何、隶属度函数、知识模型山」等直接对对象的信息进行建模，将图像进行初
收稿日期=2019-12-25修订日期=2020-05-08
基金项目：装备预研教育部联合基金项目(6141A02022376)；陕西省土地整治重点实验室基金项目(2018-ZZ04)。作者简介：韩玲(1964-)，女，博士，教授，主要研究方向为摄影测量与遥感。
E-mail:hanling@chd.edu
通信作者：杨朝辉(1997-)，女，硕士研究生，主要研究方向为遥感图像处理。
E-mall：2018126045@chd.edu
菊花鱼的做法视频22
引用格式：韩玲，杨朝辉，李良志，等.利用Deeplab v3提取高分辨率遥感影像道路［J］.遥感信息,2021,36(1)=22-2&
始分割或者聚类成块状的小区域，通过将同质区域合并得到道路对象，需要遍历图像，容易导致过度提取。
近年来计算机技术飞速发展，语义分割算法也得到了很大的改进，卷积神经网络(convolutional neural network,CNN)E13］被广泛应用，张庆辉等皿利用卷积神经网络进行道路目标检测，但是由于CNN使用了较大的接受域，提取的道路边缘粗糙丽。Jonathan等皿提出了全卷积网络(fully convolutional networks,FCN)，使得卷积神经网络无需全连接层即可进行密集的像素预测，可接受任意尺寸的输入。钟传琦匚切利用改进的全卷积神经网络进行了道路提取实验，发现提取的道路缺乏空间一致性。Ronneberger等口旳提出了U-Net，通过将特征在通道维度进行拼接，形成更厚的特征，从而能够适应很小的训练。但是，实验发现U-Net在分割时收敛速度较慢，而且道路边缘分割效果不理想O Chen等购提出了Deeplab vl模型，并首次提出了空洞卷积，通过增加卷积核的大小来达到相同的感受野，还采用了条件随机场(conditional random fields,CRF)对分割边界进行平滑，消除边缘噪声。Deeplab v2在Deeplab vl的基础上增加了空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)，采用不同的空洞率以获得多尺度特征。Deeplab v3网络口旳在Deeplab v2的基础上，将主干网络替换为残差神经网络(residual neural network, ResNet)，并改进了ASPP模块，去掉了CRF后处理步骤，相比Deeplab vl和Deeplab v2速度更快，分割更准确，是一种更通用的框架。
Deeplab v3网络起初是为ImageNet数据集中的多分类任务设置而成的，网络结构内包含较多数目的特
征图，因此多应用于遥感影像的多分类任务中，如袁立等向利用改进的Deeplab v3方法实现了遥感影像分类，并取得了较好的分类效果。因此，针对道路提取的二分类任务，本文借鉴了Deeplab v3模型在多分类任务中的应用效果，考虑采用Deeplab v3模型进行道路提取实验，并验证其可行性，提高道路提取的精度。
1Deeplab v3道路提取模型
Deeplab v3网络借鉴迁移学习的思想，先将ResNet网络在ImageNet数据集中进行学习，再将学习得到的模型参数预加载进ResNet网络中，通过在最后一个ResNet块中使用空洞卷积来扩大感受野，最后在ResNet块中使用空洞空间金字塔池化来提取道路的多尺度特征。
1.1ResNet架构提取道路特征
ResNet是一个非常流行的深度卷积神经网络架构，其主要贡献是提供了简化深度学习模型训练的框架。本文实验所用的Deeplab v3道路提取模型采用的是ResNet-50预训练模型，网络结构如图1所示，从左向右共50层，包括1个卷积层、1个最大池化层、4个卷积组、1个平均池化层、1个全连接层和1个Softmax分类器层。第一个卷积层被最大池化输出为56X56X64的特征图，接下来是4个卷积组(分别为图2中的卷积组1、卷积组2、卷积组3、卷积组4)，从前至后每个卷积组内包含的卷积层个数分别为3、4、6、3。每个卷积组内卷积层的卷积核个数不相同：卷积组1内的卷积核数量分别是64、64、25
6；卷积组2内的卷积核数量分别是128,128,512；卷积组3内的卷积核数量分别是256,256,1024；卷积组4内的卷积核数量分别是512.512.2048；卷积组4层被平均池化，全连接层布置在平均池化层之后，最后再将结果输入到Softmax分类器得到概率。
224x224x3
输入图像
卷积层
池化层
卷积组1
卷积组2
卷积组3
卷积组4
平均池化层
全连接层
Softmax分类器
待我长发及腰112x112x64
56x56x64
56x56x256
56x56x256
56x56x256
28x28x512
28x28x512
28x28x512
28x28x512
14x14x1024
14x14x1024
14x14x1024
14x14x1024
14x14x1024
14x14x1024
图1ResNet-50网络结构图
—23
—
遥感信息
2021年1期
(a)卷积组1
⑹卷积组2(c)卷积组3
输入—，丨，
|~~1x1,512 | |批归一化|
I 激活函数I | 3x3,512 |
j —|批归一化|
I 激活函数I
I ~ | 1x1,2 048 ]
I 激活函数I
I 输出
(d)卷积组4
| 1x1,2 048 |
‘I ~ |批归一化|
图2 ResNet-50卷积组结构示意图
1.2空洞卷积实现密集预测
全卷积网络虽然能够实现像素级的图像分割，
但是分割得到的结果往往不够精细。主要是因为使 用了较大的感受野导致分割结果粗糙，特征图较 少(图3(a)、图3(b))。感受野是输出特征图某个节
点的响应对应的输入图像的区域。图3中左边的大 括号代表感受野的大小，右边的圆圈代表特征图。
从图中可以发现，当特征图大小相同时，步长变大, 会导致感受野变大；相反，步长变小，感受野变小。
但是若需要保持相同的感受野，步长变大，会导致特 征图变小，分割粗糙。感受野大小、特征图大小、步
长、卷积核大小之间的关系可以用式(1)表示。
r… =(厂卄1 — 1) X s… + 怡”
(1)
式中：广”表示感受野大小；厂卄1表示特征图大小；s ” 表示步长；為表示卷积核大小。从式(1)也可以解 释上述规律。因此，为了解决特征图和感受野之间 的矛盾,Deeplab v3采用了空洞卷积，如图3(c)和 图3 (d)分别是采用了扩张率为2和3的空洞卷积,
可以发现扩张率为1的空洞卷积就是标准卷积，空
洞卷积将连续的连接关系根据扩张率的大小变成了
跳跃连接，能够在保证不降低空间维度的同时增大 感受野，使得分割更加精细。
感受野
步长=2 卷积核=3
步长=1 卷积核=3 扩张率=1
步长
=1卷积核=3扩张率=2
步长
=1卷积核=3扩张率=3(d)示意图4
(a)不意图1(b)示意图2(c)不意图3
图3空洞卷积示意图
24
引用格式：韩玲，杨朝辉，李良志，等.利用Deeplab v3提取高分辨率遥感影像道路[J].遥感信息,2021,36(1)=22-2&
1.3ASPP捕获多尺度道路特征
由图3(b)、图3(c)、图3(d)以及式(1)归纳总结，得到感受野大小、特征图大小、步长、卷积核大小以及扩张率之间的关系，如式(2)所示。
r n—k n—2X(rate—1)丄〕
令=-----------&-----------------+1
(2)式中：厂”表示感受野大小；『卄1表示特征图大小；s…表示步长；k n表示卷积核大小；rate表示扩张率。从图3可以发现，不同的扩张率可以获得不同尺度的特征图。因此，为了捕获多尺度信息,Deeplab v3采用了空洞空间金字塔模块，在特征顶部映射图中采用不同扩张率的空洞卷积(扩张率分别为6、12、18)。但是，随着扩张率的增加，滤波器的有效权重会逐渐变小，当扩张率接近特征图大小时，并不能捕获全文信息，而是退化为简单的1X1滤波器。为了解决这个问题,Deeplab v3在ASPP模块的最后应用全局平均，将结果经过1X1卷积再双线性采样到所需的空间维度。最终Deeplab v3改进的ASPP 模块包括以下2部分内容。
抽出
1)空洞空间金字塔模型。由一个1X1卷积和3个3X3的扩张率分别为6,12,18的空洞卷积以及批归一化(batch normalization,BN)层构成，并且滤波器数量为256。
2)图像级特征。即对特征图进行全局平均池化，经过卷积再融合得到图像级特征。图4中，改进的ASPP模块中的紫色边框代表对特征图进行全局平均池化。
Deeplab v3网络结构如图4所示。可以发现，Deeplab v3就是在ResNet网络的卷积组4上使用了改进的空洞空间金字塔池化模块，从左向右，步长逐渐增大。在卷积组3和ASPP中采用空洞卷积，保证在获得多尺度特征的同时增大感受野，使得分割更加精细。
原始图像步长=4步长=8步长=16步长=16
1x1卷积
3x3卷积
扩张率=6
3x3卷积
扩张率=12
3x3卷积
扩张率=18
全连接+
1x1卷积
步长=16 '改进的ASPP模块
图4Deeplab v3网络结构图
2实验对比
2.1实验数据与流程
本文实验所用的数据集源于“中国计算机学会(China Computer Federation,CCF)卫星影像的AI分类与识别竞赛”。该数据集为2015年中国南方某地区的高分辨率遥感图像，包括基于该遥感图像目视解译出来的地表覆盖样本数据(图像形式)。图像的空间分辨率为亚米级，光谱为可见光频段(R、G、B)，已去除坐标信息。
数据集中的5张遥感影像由于大小不一，为了能够得到较好的训练效果，需要对原始影像进行裁剪。
采取随机裁剪的方法裁剪成256像素X256像素的图像块，然后从中随机选取所需的训练样本和验证样本。
本文实验基于Tensorflow平台实现。首先，在原始影像上制作道路标签图；然后，对原始影像和标签图进行预处理，利用FCN模型和Deeplab v3模型进行训练；最后，利用训练结果对原始影像进行预测，得到对应的道路预测图。实验流程如图5所示。
图5道路提取流程图
25
遥感信息2021年1期
2.2实验结果与分析龙的神话故事
为了测试Deeplab v3方法的可行性和准确性，
本文做了 5组实验，利用Deeplab v3方法进行道路
提取，并与FCN 方法的道路提取结果进行对比。 图6分别显示了原始影像、道路标签图以及2种方 法提取的道路结果，其中绿色区域为误报像素，蓝
色区域为漏报像素。从图6可以看出，这2种语义 分割方法对道路的整体提取效果还是比较好的，
提取的道路比较准确，也相对完整，因此语义分割 算法对于道路的提取研究总体来说是成功的。但
是这2种语义分割算法由于其神经网络的不同， 提取性能也是不同的。可以发现；FCN 对主干道 路提取性能较好，但是对于细小的分支道路出现
了严重的漏提现象;Deeplab v3则对主干道路和细 小分支都有很好的提取效果，主要因为Deeplab v3
采用了空洞卷积和APSS 模块来提取多尺度特征。 在背景相对简单的组3、组4影像中，FCN 的提取
效果相对较好。此外，由于Deeplab v3的网络结构 相对复杂，Deeplab v3训练样本需要花费更多的
时间。
(a)原始影像⑹道賂标签图(c )FCN 预测图(d) Deeplab v3 预测图
图6实验结果对比
—
崤怎么读26
