第12卷第1期2021年3月
黑龙江大学工程学报
Journal of Engineering of Heilongjiang University
V c U12,Nel
Man,2021
DOI：10.13524/j.2095-C08x.2021.01.009
基于树形尺度估计的车辆跟踪
任杰，赵春晖*，崔颖
（哈尔滨工程大学信息与通信工程学院，哈尔滨150001）
摘要：为解决智能视频监控系统车辆跟踪过程中尺度伸缩变化造成的跟踪器模型漂移的问题，在SiamFC（基于全连接层的挛生网络目标跟踪算法）的基础上，提出一种基于树形尺度池的车辆跟踪算法。通过判断当前图片与模板图片中目标的大小，为其分配尺度因子，再通过尺度因子之间的响应大小确定当前
目标的最佳尺度。此外，为保证模板图片能够适应车辆外观的不断变化，在确定尺度的条件下对模型进行自适应更新，提高跟踪算法整体的精确度和成功率。实验表明，该算法可以有效解决车辆跟踪中尺度变化导致的车辆漂移情况，且相对于其他挛生算法有更好的跟踪性能&
关键词：智能视频监控系统；车辆跟踪；挛生网络；尺度估计；模型更新
中图分类号：TP391.41文献标志码：A文章编号：2095008X（2021）01-0047-07
Vehicle tracking bad on tree scale estimation
REN Cc,ZHAO Chun-HuO,CUI Ying
(College of Information and Communwation Engineering,Harbii Engineering University,Harbii150001,China)
Abstract:In order to solve the problem of tracker model drift caud by scaling changes in a vehicle tracking process in a intWligent videe su—eillance system,a vehicle tracking algorithm bad on a tree scale pool is p—opod on thebasisofSiamFC(atwin netwo—k ta—gett—ackingago—ithm bad on afu yconnected aye—) ago—ithm.By.udgingthesieeoftheta—getin thecu—entpictu—eand thetemp atepictu—e,ascaefacto—isa s igned toit,and then theoptima&scaeofthecu—entta—getisdet
e—mined bythesieeofthe—esponbetween thescae facto—s.In addition,in o—de—toensu—ethatthetemp atepictu—ecan adapttothecontinuouschangesin the appea—anceoftheeehice,themode&isadaptieeyupdated unde—thecondition oface—tain scaetoimp—oeethe overall accuracy and success rate of the tracking algorithm.The experiments show that the algorithm can Sfectively soeee:heeehiceed—if caud by:hechangeof:hescaeein:heeehicee—acking,and i hasbee——acking pe—fo—mance:han o:he—win aego—ihms.
Key wo+s:intSligent videe su—eillance system；vehicle-racking；twin nSwork；scale estimation；model updxe 0引言
视觉车辆跟踪作为智能视频监控系统的重要组成部分，在智能交通管理系统和无人驾驶等领域有广泛的应用。实现目标车辆的稳定快速跟踪已成为当前的热点，并且具有极其重要的现实价值'
收稿日期：2020-02-24
基金项目：国家自然科学基金项目（61971153）
作者简介：任杰（1996-），女，硕士研究生，研究方向：图像处理'E-mail：renjiel223@h—
&通讯作者：赵春晖（1965-），男，教授，博士，博士研究生导师，研究方向：遥感图像处理等'E-mail:********************
引文格式：任杰，赵春晖，崔颖.基于树形尺度估计的车辆跟踪］C•黑龙江大学工程学报，2021,12（1）：47-03.
・48・黑龙江大学工程学报第12卷
基于李生网络的跟踪算法可以实现端到端学习，因其具有优秀的跟踪性能被广泛应用在目标跟踪领域。其中最具表性的SiamFC】门（基于全连接层的李生网络目标）,SiamFC利用双层线性计动的两个输入的相互，实现高效的滑动，得到最高的输出值，到定位的目的。引入了全连接层的结构，提高度，高的实，£
辆目标度较大，控的目标的尺度变加快速，而SiamFC度变感，出现引入的信息目标信息不完整，出现的情况，所个且准的尺度估计对于目标的准要。然实现兼顾准确度度的度估计
—项具有挑战性的任务（2）O
目前在加入尺度估计模块的很多，DanSljan M等（30）利用波器将目标分解为位度估计，在经准确的位置的下，测区域的度特征度滤波器，在下尺度的精度取决于目标位置的准°LiF等⑸也采用度滤波器
的方法，利用一维相关滤波器训练4个特征块，通过边界跟踪进行尺度估计。Walia G S等（6）通过QA（正交三角）分度特征降维处理，高度滤波器的度。特征分块（70）方决尺度伸缩变的先进方法，根据每块的离散程度估计整体目标的尺度大才、，由于分块特征特征部分丢失，度大的提升。
针的尺度变题，准确度度的要求，在SaimFC跟踪算的基出基于树度池的°采用波大小的尺度缩放因子，度响应的比最后目标的大才、；，为高的，在完成尺度估计的下，络模自，程出现的变化。
1方法
1.1整体流程图
算法的整体流程见图1，步骤如下：①采用李生网络框架对的输入图片（模板图片、当前帧图片）进行特征提取；②将提取后的特征进行尺度估计，计算多尺度的响应，采用一种树形尺度池的方式找到车辆
所对的最佳尺度；③似度比较，所在的位度，为变显败，采用自模的方模；④判
否为的最后一帧，如果束，如果
下一帧。
1.2基于树形尺度估计的车辆跟踪算
在SiamFC算法的基的，首先目标所在的位心，在其基树形度估计。整体分为两部分，第一部帧图片是放大缩小，第二部放大因子和缩小因子的大小。核心原理是：将模板样帧比较，其模板样本的大小固定为S t二（t，t），个缩放池S'1y,y假原始图像空的目标窗大小为Syo于帧，在1tit I y#S2采样10个缩放因子来寻的目标，采用双线方法将样整为固定的模板大小s t，采用下式计算最大响应：
输入图片
■*…:
I模板图片I I当前帧图片I
厂1
I特征提取I I特征提取I
—*......厂_
I尺度估
湘似性比较I
I更新跟踪器I
I读取下一帧图用
结束I
图1算法整体流程
Fig.1Overall flow chart of the
algorithm
第1期任杰，等.基于树形尺度估计的车辆跟踪・49・
二 arg myx F F f#z # ( 1)
其中：z . 为的模板样本，即-。由于响 到一个向量，因采用最大运算来求其最大标
量。由于响应图中隐含了目标的运动，因 需要对最终的位 。结构见图2o
B1
输出图片
Al(当前帧)
A2(上一帧)
输入图片第一部分B11
第二部分
图2树形尺度估计原理
Fig. 2 Schematic of tree scale estimation
先将定位后的目标 第一部分，将 帧的图片A1 帧的图片A2 比 目标
放大
缩才、，若 帧A1响 大于 帧A2的响 ，说 在
帧中目标是放大的，如
果已经判断为放大， 到放大分支内继续计算，得出响应最大值的放大因子为最后目标的尺度,，
到缩
支内继续计算，得出响应最大值的缩小因子为最后目标的尺度。放大分支内的
10 个尺度因子分别为 1.01，1.011，1.012，1.013，1.014，1.015，1.016，1.017，1.018，1.019，缩小分支
内的 10 个尺度因子分别为 0.999，0.998，0.997，0.996，0.995，0.994，0.993，0.992，0.991，0.990。同 也用双线
(10)
缩放因子的大小。为 保 程中，目标的尺度确实发生了变化，H
到 帧的目标检测结果的影响，每隔5帧 目标检测的结果
记录，若连续10
出现
目标的尺度发生放大或缩才、， 目标的尺度发生
变， 用 树 度自 〕
度的放缩。
实验中在确定放大和缩小后进行了 10次计算，相对于之前的DSST (⑴算法的32次和SAMF ( 12)跟踪算
法的17 省计 ，提高
的实 ，而且在添加尺度估计模块
， 的特征 区域
也 的改变， 出现 特征不足 特征过剩等现象， 到的特征 针 ，I 、e
高 的 度和成功率，
能增强。
1.3自适应模型更新
为
动 的 变
光照等环境的变化，提高算法的精确度，需要对整体模型进行实时
更新，传统的方法KCF ( 13)采用线性插值的方法，公式为
卩 D (1 - &)p + (2)
爲 D (1 -&)T + AT
式中：p 和q # 为当前帧车辆跟踪的结果得到的
波模板和目标外观模板；入为模板更新速率。
由于 率的变 够明显， 率 能
目标及环境的变化， 的 度也 着车
-50-黑龙江大学工程学报第12卷
辆的运动而逐渐下降。
为提高品矚器的精确度，本文利用最佳尺度下的相关响应的最大值对模型进行自适应更新，公式为
卩=d-A y m ca）N（3）
=C1-&_mca）T+&_ma T
其中_aa为最佳尺度下相关响应的最大值。这种自适应模型更新方法对于跟踪器相似度较高的图片会以较快的速率更新，相似度较低的图片更新速率较低，减少噪声的引入，在适应目标环境和外观变化的同时保证模型的准确性，从而提高跟踪器的精确度。
2实验
2.1实验参数设置和评价指标
2.1.1实验参数设置
在训练阶段采用ILSVRC15[14〕视频数据集，随机梯度下降的优化算法，用高斯分布初始化参数，训练50个epoch，每个epoch有50000个样本。将相关滤波的正则化参数设置为0.01，系统的学习率为0.00025，期望的相关输出的标准偏差设置为平移维度中目标大小的1/16，标度维度中的滤波器大小为5，尺度因子为1-005。在KILTI[15〕公开的车辆运动视频数据集和LaSOT[16〕中20段车辆运动视频数据集中，包含了目标与背景相似、尺度变换等多种目标跟踪过程中可能出现的复杂情况，在此数据集上进行测试，验证了本文方法的有效性。
2.1.2#
实验中采用两个标准评价指标。
1）精确度可认为是跟踪目标的中心位置和人工标定的准确位置之间的平均欧氏距离[17]，公式为
dist#X，Y)=式中：X为目标中心位置*Y为人工标注真实位置*槡'#Q--#）2⑷Q为X的坐标；-为Y的坐标。一个序列中所有帧像
素之间的平均中心位置误差，通过评估不同像素阈值下的精确度，可以得到一个精确度曲线图。
2）成功率可认为是计算跟踪成功视频所占视频的比例，公式为
J=V；):;⑸
式中：，为跟踪器给定的边界框；7，为真实的边界框；）、U分别为两个区域的交集和并集，xx为区域内给定的像素个数。对于每个帧图片，计算被跟踪图片中的候选框和groundtruth#标准框）之间的IoU[18]#重叠度）。通过评估不同LU阈值下的成功率，可以得到一个成功率曲线图。这两个指标都可以根据AUC[19]（曲线下面积）的大小来判断算法的效果，AUC越大效果越好。
2.2实验分析
车辆跟踪算法作为其他技术的基本环节，不仅要求算法具有很好的精确度，还要求算法的速度满足实际需求。为了全面的分析本文算法与其的能，度、度成功率
各方法进行分析，结果见表1'由表1可见，在李生网络下的Ours、SiamFC和DCFNet[20]算法的跟踪速度高于使用相关滤波的跟踪算法，李生网络最大的优势就是处理速度快，由于SiamFC和
表1各种算法总体性能
Table1Overall performancc of various algoritems 算法速度度成功率Out650.7990.729 SiamFC690.7320.655 DCFNet610.7240.623 DSST280.7500.642 ECO360.7390.601
C-COT320.7800.574
第1期任杰，等.基于树形尺度估计的车辆跟踪• 51 •
DCFNct 不具备尺度估计和模型更新能力，其精确度和成功率普遍偏低。DSST + ECO (21)和C-COT (22)都是
具备尺度估计的 ， 度 成功率 的提升， 度非常低，几乎达不到目标跟
的实 ，而且由于尺度因子的选
于 ，在 度和成功率上依然稍稍弱于
。
各 在OPE (23)(正
)、SRE #空 复杂度)、TRE ( 复杂度)
下的 度和成功率的对
比见图3。由图3可见，在 的 下，各 的成功率 度存在波动，由于受到环境和阈值的
限制，整体的 度和成功率有下降的趋势， ， 度 成功率保持着微小的变化，
说
具有很强的鲁棒性。
Precision plots of OPE
Location error threshold Overlap threshold
Success plots of SRE
Overlap threshold
图3各种算法的精确度和成功率对比
Fig. 3 Comparison of acccracy and success rate of various
algorithms
