DOI:10.12086/oee.2021.200249
结合层次化搜索与视觉残差网络的
光学舰船目标检测方法
徐安林1，杜丹1*，王海红1，张强1，李雅哲2
1北京跟踪与通信技术研究所，北京 100094；
2北京市遥感信息研究所，北京 100192
摘要：星/机载光学遥感图像视场广阔、场景复杂，且受岸边建筑、碎云影响易产生大量与舰船目标高相似虚警，给舰船检测带来极大干扰，传统海洋舰船检测算法难以有效提取利于检测的鉴别性特征，导致舰船检测率低、虚警率高。鉴于此，本文从低虚警、低漏检角度，提出一种结合层次化搜索与视觉残差网络的光学舰船目标检测方法。首先基于纹理积分图分割出海陆区域；其次，结合多尺度局部结构特征提取目标候选区域；然后，通过基于多维度视觉特征的层次化策略进行初级虚警剔除；最后，基于视觉残差网络对疑似候选区进行精细化虚警剔除，得到最终检测结果。基于GF2光学遥感数据对本文所提算法进行测试验证，本文算法综合检测率92.0%，虚警率12.58%，平均处理时间0.5 s，检测效果好、效率高，对各种场景的适应性好，可实现复杂环境光学舰船的准确、高效检测定位。
关键词：光学舰船；纹理积分图；层次化虚警剔除；视觉残差网络
中图分类号：TP391 文献标志码：A
徐安林，杜丹，王海红，等. 结合层次化搜索与视觉残差网络的光学舰船目标检测方法[J]. 光电工程，2021，48(4): 200249 Xu A L, Du D, Wang H H, et al. Optical ship target detection method combining hierarchical arch and visual residual net-work[J]. Opto-Electron Eng, 2021, 48(4): 200249
Optical ship target detection method combining hierarchical arch and visual residual network Xu Anlin1, Du Dan1*, Wang Haihong1, Zhang Qiang1, Li Yazhe2
1Tracking and Communication Technology Rearch Institution in Beijing, Beijing 100094, China；
2Beijing Institute of Remote Sensing Information, Beijing 100192, China
Abstract:The star/airborne optical remote nsing image has a wide field of view and a complex scene. It is easy to produce a large number of fal alarms that are similar to the ship's target due to the impact of the shore construc-tion and broken cloud, causing great interference to the ship's detection. Traditional marine ship detection algorithms are difficult to be effective extracting discriminative features that are conducive to detection, results in low detection rates and high fal alarm rates for ships. In view of this, this paper propos an optical ship target detection method combining hierarchical arch and visual residual network from the perspective of low fal alarm and low misd detection. Firstly, the land and a area are gmented bad on the texture integral map; condly, the target can-didate area is extracted by combining the multi-scale local structural features; then, the primary fal alarm is
——————————————————
收稿日期：2020-07-06；收到修改稿日期：2020-11-20
作者简介：徐安林(1984-)，男，硕士，助理研究员，主要从事航天系统总体的研究。E-mail：
过华清宫李约
通信作者：杜丹(1979-)，女，硕士，助理研究员，主要从事航天系统总体的研究。E-mail：
监督检查情况报告版权所有○C2021中国科学院光电技术研究所
removed by the layered removal strategy bad on multi-dimensional visual features; finally, the visual residuals are built the network finely removes fal alarms from suspected candidate areas to obtain the final detection result. Bad on the GF2 remote nsing GF2 t, the algorithm propod in this paper is tested and verified. The com-prehensive detection rate of this algorithm is 92.0%, the fal alarm rate is 12.58%, the average processing time is 0.5 s, the detection effect is good, the efficiency is high, and the adaptability to various scenes is good. It can achieve accurate and efficient detection and positioning of optical ships in complex environments.
Keywords: optical ship; texture integral map; hierarchical fal alarm rejection; visual residual network
1 引 言
光学遥感具有成像清晰、分辨率高、侦察范围广的优势，尤其对目标视觉特性具有较好的表征。近年来，随着传感器与成像技术的日益提高，高分系统所获取的图像数据中目标细节更加丰富，与海面对
比度更加强烈，基于海量数据的舰船目标预判也更加复杂，对舰船目标检测算法提出了更高的要求。为提高信息获取时效性，利用光学目标特性和遥感图像解译技术，完成遥感图像海面舰船目标快速筛选和自动检测，已成为未来高分光学数据舰船目标快速检测的必然要求。
目前高分光学图像舰船检测方法主要有三类，基于区域分割的检测技术[1-3]、基于变换域的检测技术[4-6]和基于深度学习的检测技术[7-8]。基于区域分割的检测技术基本思想是利用舰船目标与周围海域在灰度、纹理上的差异性，构造局部区域增强算法和自适应阈值迭代算法获取分割阈值，再利用该阈值对原始图像进行分割，获得舰船候选区域。例如：文献[9]引入域内一致性、域间差异性和形状复杂度3个指标对舰船进行分割提取；基于变换域的检测技术将时域中难以有效分离的舰船目标在小波域或频域进行重构，从而增加目标的区分性。例如：文献[10]提出了一种基于小波变换的光学遥感图像目标检测算法，该算法能有效地去除噪声和干扰；基于深度学习的检测技术基本思
想为借助深度学习强大的特征提取能力构建专用检测骨干基础网络，结合检测head 和位置回归策略实现舰船目标的检测。例如：对R-FCN 中的特征提取网络ResNet 进行混合尺度卷积核处理，利用R-FCN 提取海洋舰船目标。以上检测技术均利用舰船、虚警、海背景三者之间的差异性对舰船进行提取和鉴别，但遥感图像场景复杂、随机，存在较多的噪声和干扰，上述算法难以有效平衡检测性能和处理效率之间的关系，难以实现高效、准确的舰船检测。
针对光学遥感图像特点及上述存在的问题，本文提出了一种结合层次化搜索与视觉残差网络的光学舰船目标检测方法，通过基于纹理积分图的海陆分割处理、基于多尺度局部结构特征的候选区提取技术、基于多维度视觉特征的层次化虚警剔除技术、基于视觉残差网络的精细化虚警剔除技术实现光学舰船低虚警、低漏检、高效检测处理。算法流程如图1所示。
2 本文检测算法
2.1 基于纹理积分图的海陆分割技术
本文所重点关注的舰船目标均分布在海面上，大视场光学遥感图像中存在大规模无效陆地区域，给舰船检测带来大量虚警干扰和运算负担。因此，在对舰船进行检测之前，需借助海陆分割算法对陆地区域进行有效屏蔽。
图1 本文检测算法流程图
Fig. 1
The flow chart of the detection algorithm in this paper
本文采用基于纹理积分图的海陆分割技术实现以上任务需求，该技术利用海面与陆地区域在梯度纹理上的差异性对两种典型地物类型实现有效分离。为排除高纹理舰船目标对区域分割带来的影响，首先对原始图像进行32倍均值降采样处理，该操作也可进一步减少纹理分割的运算负担。
其次，对降采样后的图像进行纹理积分图重绘，步骤如下：
狗尾巴草的功效与作用1) 对降采样后的图像进行逐点梯度计算，获得梯度图像；
2) 构造3×3的滑动窗口，对梯度图像进行纹理积分图重绘，即窗口覆盖区域像素以该区域像素点灰度均值进行重新赋值，得到最终纹理积分图。
最后，利用均值双峰迭代算法对所获得的纹理积分图进行自适应分割阈值求取，并根据求取的分割阈值对纹理积分图进行二值化分割，得到海陆分割模板。根据模板对陆地区域对应的像素进行屏蔽，海陆分割结果如图2所示。
2.2 基于多尺度局部结构特征的候选区提取技术
遥感图像中舰船目标往往稀疏分布，从大视场海面中快速、准确地分离出舰船候选区域，是保证舰船检测率的重要前提。传统的目标候选区提取技术往往基于舰船灰度显著高于周域海洋背景这一假设前提设计提取策略，对海面弱暗目标或涂装目标区域提取效果不佳。分析可知，舰船目标的能量在局部背景中具有较强的显著性，即舰船在局部范围内与背景有较大差异。基于此，本文设计基于多尺度局部结构特征的候选区提取策略，一方面增强舰船目标与周围海域的对比度关系，另一方面可有效提取各种海况等级下的舰船目标，流程如图3所示。
本文构造两个具有良好表征能力的局部结构特
征，即局部方差和局部熵。该特征可以有效地表征图像局部窗口内灰度分布的复杂情况，但是其作用
效果与所选尺度有关，当尺度较小或较大时都可能无法正确反映局部区域内灰度分布的变化情况。本文构造的多尺度局部熵和方差计算分别为
(1,,)(,)(,,)lg (,,)g r H x R p g x R p g x R ∈=−∑ , (1)
(,)(,)1(,)[(,)(,)]i j R i j R R
D x R g i j g i j S ∈∈=−
∑∑ , (2)
其中：(,)H x R 代表以x 为中心的局部区域R 内的熵，
(,,)p g x R 代表以x 为中心的局部区域R 内灰度g 出现
的概率，(,)D x R 代表以x 为中心的局部区域R 内的方差，i , j 代表区域R 内像素的坐标，(,)g i j 代表像素(i , j )的灰度值，R S 代表区域R 内的像素总数。
对于舰船区域，其局部熵和方差随尺度变化所产生的变化量要明显大于平缓的海面背景。本文利用多尺度下的方差与熵乘积的最大与最小值之差来表征图像中的所有像素，进而达到凸显双极性舰船区域的目的。
经过多尺度局部结构特征处理后，图像中舰船目标和其他过渡区域都得到了有效的增强。结合光学舰船图像的特点，本文利用多尺度局部结构特征和梯度方向方差构建二维直方图，通过最大类间方差法对强化后图像进行分割，并对分割后图像进行连通域标记，获得疑似目标候选区。
2.3 基于多维度视觉特征的层次化虚警剔除技术
大幅宽遥感场景复杂，提取出的疑似目标区域中夹杂大量海洋杂波、碎云以及近岸人工建筑，导致虚警数量多。根据虚警与舰船目标的相似程度构建不同复杂程度的虚警剔除策略，从而层层递进、高效实现多类型虚警剔除。虚警剔除策略主要包括：基于目标尺度特征的剔除、基于目标上下文特征的剔除和基于
图2 基于纹理积分图的海陆分割技术流程图。(a) 原始图；(b) 纹理积分图；(c) 海陆分割结果
Fig. 2 Flow chart of the a and land gmentation technology bad on texture integral image.
(a) Original image; (b) Texture integral image; (c) Result of a and land gmentation
(a)
(b)
(c)
目标纹理特征的剔除三个阶段。
1) 基于目标尺度特征的剔除：构建尺度滤波器对尺度过小和过大疑似目标进行剔除；
2) 基于目标上下文特征的剔除：以疑似候选区为中心，选取周围多个区域构成共生矩阵纹理描述子，依靠决策判据进行虚警剔除；
高考录取线3) 基于目标纹理特征的剔除：提取目标自身多维度纹理特征，包括Gabor 、LBP 、共生矩阵等，输入向量机进行虚警剔除。本文构造的SVM 模型和RBF 核函数如下：
1()(,)n i
i i y αK ==+∑x x x b , (3) 2
2||||(,)exp i i K σ⎛⎫
写人记事散文−=− ⎪ ⎪⎝⎭会计年
x x x x , (4) 式中：i x 为训练数据得到的支持向量，
个数为n ；x 为待判定图像提取的特征向量，i α为第i 个支持向量对应的解，b 为对应支持向量的偏置，σ为函数的宽度参数。
2.4 基于视觉残差网络的精细虚警剔除技术
通过层次化虚警剔除，可剔除大量与舰船在形状、尺度、纹理差异较大的虚警，但部分碎云与舰船在浅层特征上存在较为相似，难以有效鉴别。本文借助深度学习强大的特征提取能力对舰船进行进一步精细化剔除，以保障检测过程的低虚警。本文以ResNet-18残差网络模型作为基础网络，引入具有特征图选择机制的视觉注意模块，极大提升特征图的利用效率，提高网络的鉴别能力。
ResNet-18网络模型结构如图4所示。
网络共有4个Layer 模块层，每一个模块均由两个基本残差块BasicBlock 组成，残差块构造如图4下排结构所示。其中，Layer1残差块中卷积核维数为64，Layer2残差块中卷积核维数为128，Layer3残差块中卷积核维数为256，Layer4残差块中卷积核维数为512。Max pool 和Average pool 层分别为最大值池化层和均值池化层，对特征具有抽象和聚合效果。网络输出采
图3 基于多尺度局部结构特征的候选区提取技术流程图。(a) 陆地屏蔽图；(b) 增强图；(c) 候选区提取结果
Fig. 3 Flow chart of candidate area extraction technology bad on multi-scale local structural features.
(a) Land shield image; (b) Enhanced image; (c) Result of candidate area
(a)
(b)
(c)
图4 ResNet-18网络结构图
Fig. 4 ResNet-18 network structure diagram
用Fc 全连接层，在其后接Softmax 层做概率计算和类别划分。
本文方法在以上基础结构的基础上引入视觉注意机制模块，具体模块构造如图5所示。其中，全连接层Fc1的通道数为16，Fc2的通道数为32，Fc3的通道数为512。尺度聚合模块将特征图优选后输出的权重系数加权到残差网络上，实现对鉴别特征的二次优化。整个过程表达式：
1c c X S U =∗ , (5)
其中：U c 为ResNet-18最后一层中某特征图，S c 为训
练学到的加权系数，X 1为输出。
3 仿真实验结果与分析
为验证本文算法的有效性，基于GF2光学遥感数据，在搭载GTX 1080Ti 显卡的服务器上运行本文算法，通过计算舰船目标的性能指标对检测结果进行主客观评价。性能评价指标采用通用经典的检测率和虚警率。
实验中选取120景含有舰船目标的GF2光学遥感数据(单景大小4096×4096)，其中包括远洋海域、近岸港口、河道区域等场景类型及各种海况。检测率和虚警率测试结果统计如表1所示。
由表1可看出，本文算法对各种海况下各类型场景的舰船目标均具有较好的检测效果，综合检测率可
达92%，虚警率12.58%，且对单景图像(4096×4096)平均处理时间0.5 s ，本文算法在处理效率和处理精度上实现了较好的平衡。
我的老师300
图6 三种算法远洋海域检测结果一。(a) 原图；(b) Faster-Rcnn ；(c) ssd ；(d) 本文算法
Fig. 6 The first detection results of three algorithms in ocean.
(a) Original image; (b) Faster-Rcnn; (c) ssd; (d) The algorithm of this paper
(a) (b)
(c)(d)
图5 视觉注意机制模块结构图
Fig. 5 Visual attention mechanism module structure diagram
表1 处理结果统计
Table 1 Statistics of processing results
场景分类 图像景数 检测舰船数量
真实舰船数量
虚警个数检出目标总数
检测率/% 虚警率/% 处理时间/s 远洋海域 50 210 225 24 234 93.33 10.26 0.52 近岸港口 40 325 350 46 371 92.86 12.40 0.50 河道区域 30 431 475 69 500 90.74 13.80 0.48 总计
120
966
1050
139
1105
92.00
12.58
0.50
表2 三种算法的性能对比
Table 2 Performance comparison of three algorithms
算法名称 检测率/% 虚警率/% 处理时间/s Faster-Rcnn 90.36 13.27 2.63 ssd(vgg-16) 87.24 14.35 0.95 本文算法
92.00
12.58
护士的工作0.50
