第33卷第3期计算机辅助设计与图形学学报Vol.33No.3 2021年3月Journal of Computer-Aided Design & Computer Graphics Mar. 2021融合尺度降维和重检测的长期跟踪算法
夏亮1,2), 张亚1,2)*, 黄友锐1,2), 贾汉坤2)
1) (安徽理工大学深部煤矿采动响应与灾害防控国家重点实验室淮南 232001)
2) (安徽理工大学电气与信息工程学院淮南 232001)
(****************)
摘要: 针对长期目标跟踪中存在的目标遮挡、尺度变化和光照变化等干扰造成的跟踪失败问题, 提出一种融合尺度降维和重检测的长期目标跟踪算法. 该算法在长期相关性跟踪算法的平移估计和尺度估计基础上, 采用主成分分析降维策略来减少计算量, 并建立高置信度样本集; 当目标长期遮挡或丢失时, 通过自适应阈值来启动在线分类检测器和最佳伙伴相似度匹配, 重定位目标位置, 并对模板均衡更新. 在OTB-2015等标准数据集的部分序列上定量和定性评估的实验结果表明, 文中算法的平均距离精度为95.4%, 平均重叠成功率为89.2%, 平均跟踪速度为23.68帧/s, 且在遮挡、尺度变化和光照变化等场景下表现优异, 能有效地实现长期目标跟踪.
关键词: 长期跟踪; 相关滤波; 主成分分析; 高置信度样本集; 最佳伙伴相似度
中图法分类号: TP391.41 DOI: 10.3724/SP.J.1089.2021.18211
Long-term Tracking Algorithm Bad on Dimensionality Reduction and
Re-Detection
Xia Liang1,2), Zhang Ya1,2)*, Huang Yourui1,2), and Jia Hankun2)
1) (State Key Laboratory of Mining Respon and Disaster Prevention and Control in Deep Coal Mines, Anhui University of Science and Technology, Huainan232001)
2) (School of Electrical and Information Engineering, Anhui University of Science and Technology, Huainan232001)
Abstract: Aiming at the tracking failure caud by target occlusion, scale change and illumination change in long-term target tracking, a long-term target tracking algorithm combined with dimensionality reduction and re-detection is propod. Bad on translation and scale estimation from a long-term correlation tracking al-gorithm, the dimensionality reduction strategy of principal component analysis was adopted to reduce the computational burden. At the same time, a high confidence sample t was established. When the target was occluded or lost for a long time, the onl
ine classification detector and the best-buddies similarity matching were started through the adaptive threshold to relocate the target position, and a balanced model updating strategy was ud to update the template. The experimental results of quantitative and qualitative evaluation on some quences of standard data ts such as OTB-2015 show that the average distance accuracy of the algorithm in this paper is 95.4%, the average overlap success rate is 89.2%, and the average tracking speed is
23.68frames/s. Moreover, the algorithm performs well in scenes such as occlusion, scale change and illu-
mination change, and can effectively achieve long-term target tracking.
收稿日期: 2020-01-15; 修回日期: 2021-01-05. 基金项目: 国家自然科学基金面上项目(61772033). 夏亮(1995—), 男, 硕士研究生, 主要研究方向为计算机视觉、图像处理; 张亚(1978—), 男, 硕士, 副教授, 硕士生导师, 论文通讯作者, 主要研究方向为计算机视觉、机器学习; 黄友锐(1971—), 男, 博士, 教授, 博士生导师, 主要研究方向为智能控制、机器视觉、模式识别; 贾汉坤(1994—), 男, 硕士研究生, 主要研究方向为机器视觉、智能控制.
386 计算机辅助设计与图形学学报第33卷
Key words: long-term tracking; correlation filtering; principal component analysis; high confidence sample t; best-buddies similarity
目标跟踪一直以来都是计算机视觉领域最活跃的研究方向之一, 并在军事、智能交通、视频监控和智能制造等领域中有着广泛的应用. 目标跟踪是在给定视频序列目标初始状态下, 通过算法准确估计后续视频帧中目标的位置和尺寸. 近年来, 基于视觉的目标跟踪发展迅速, 但视频背景中目标受遮挡、出视野、形变、快速运动和光照变化等多种因素干扰, 目标跟踪的精度提升仍旧是一个严峻的挑战. 因此, 建立一个长期鲁棒性的跟踪系统是必要的.
近些年, 大量基于核相关滤波的跟踪算法被提出, 2010年, Bolme等[1]首次将核相关滤波引入目标跟踪中, 提出最小误差平方和(minimizing output sum of squared error, MOSSE)跟踪器滤波算法, 通过离散傅里叶变换将目标与候选区域之间的相似度计算转换到频域, 在运行速度和新颖性上表现尤为突出. Henriques等[2]在MOSSE的基础上引入循环矩阵与核的概念, 提出循环结构的检测跟踪(circulant structure of tracking-by-detection with kernels, CSK)算法更好地解决了传统算法采用稀疏采样造成样本冗余的问题. Ma等[3]提出一种局部子空间协同跟踪方法, 用于精确跟踪基于外观的对象. Danelljan等[4]将颜色属性(color names, CN)信息进行主成分分析(principal component analysis, PCA)降维与灰度特征叠加, 得到了更加精确、稳健的目标表观模型. Li等[5]利用尺度池技术估计目标的最佳尺度, 同时融合梯度直方图(histogram of oriented gradient, HOG)特征[6]与CN特征提升算法性能. Danelljan等[7-
8]提出快速判别式尺度空间跟踪(fast discriminative scale space tracking, fDSST)算法, 通过学习独立的相关滤波器进行显示平移和尺度估计, 通过HOG特征学习自适应多尺度滤波器, 将学习的尺度滤波器应用到目标位置, 以获得目标大小的准确估计, 解决了目标运动过程中的尺度变化问题. Wang等[9]使用多峰目标检测提高跟踪定位精度, 并通过高置信度模型更新策略, 解决跟踪失败的问题, 提高算法的稳健性.
但在处理目标长期遮挡、快速运动、照明变化和出视野等干扰因素时, 这些方法并不都能有效地解决在线模型跟踪的问题, 从而导致跟踪目标丢失. 为了在模型稳定性和适应性之间取得平衡, Kalal等[10]提出将目标跟踪分为跟踪模块、学习和检测模块, 跟踪器与检测器互补模块. 跟踪器为检测器提供正样本, 当跟踪目标丢失时, 通过在线学习的检测器重新初始化跟踪器, 但使用在线二进制随机分类蔟检测器时, 其对光照等因素鲁棒性不强. Ma等[11]的长期相关性跟踪(long term corre-lation tracking, LCT)算法把跟踪问题分解为平移估计和尺度变化估计, 使用岭回归模型学习上下文的相关性, 以提高平移估计模型精度; 但在目标发生连续遮挡出视野时, 算法容易丢失目标, 且速度较慢. Zhang等[12]提出的基于粒子群优化的退火搜索算法, 有效地解决了快速运动及目标突变问题.
目标跟踪需要解决许多问题, 关键是当物体重新出现在视野中时对其进行检测重定位. 为能够进行长期目标跟踪, 一个高效的长期跟踪器需要精心设计的检测模块, 在目标跟踪器发生遮挡、出视野等故障后准确地重定位到真实的目标. 因此, 本文做出以下几点改进: (1) 在LCT算法的平移估计模型和尺度估计
模型基础上, 对特征进行尺度降维, 以提高算法的实时性; (2) 建立高置信度样本集, 通过高置信度外观阈值和尺度阈值模型筛选出高置信度样本, 保证重检测模块的精确度和鲁棒性; (3) 融合在线学习的检测器和最佳伙伴相似度匹配(best-buddies similarity for robust template matching, BBS)[13], 采用均衡的模型更新策略[14]对平移估计模型和尺度估计模型进行更新, 实现目标遮挡和模型漂移后的目标重定位和尺度估计, 从而保证长期稳定的目标跟踪.
1 长期目标跟踪算法
1.1 LCT算法
LCT算法是基于相关滤波器的典型跟踪算法, 它将目标跟踪任务分解为对象的平移和尺度估计; 平移估计任务通过运动相关滤波器c R实现, 以获得目标新位置, 尺度估计通过外观相关滤波器t R获得新的尺度. 相关滤波器对以目标为中心大小为M N
⨯个像素的图像块x训练, 通过循环移位得到
循环矩阵. 其中, 训练样本为,,(,){0,1,,
m n
m n∈
x
1}{0,1,,1}
M N
-⨯-
, 利用移位样本集合中的冗余, 通过快速傅里叶变换有效地对大量训练样本进行相关滤波器的训练, 这种数据扩充有助于从周
第3期
夏亮, 等: 融合尺度降维和重检测的长期跟踪算法 387
拉黑围的背景中辨别目标. 再用岭回归使训练图像和回归对象之间的均方误差最小; 滤波器通过
()()2
2
,,|,|
arg min m n m n
y m n φλ=⋅-+∑w
w x w w (1)
获得. 其中, 高斯核(),k '=x x exp ()
22σ-'-x x 被用于定义非线性核空间映射φ; 0λ≥为正则项系数. 样本标签,m n Y 服从高斯分布, 经过映射和快速傅里叶变换, 使目标方程()(),,m n m,n
m n φ=⋅∑w a x 最
小化. 解式(1)得
()()
()()()φφλ
==
⋅+y A a x x
(2)
其中, 参数a 由式(2)傅里叶逆变换得到; 表示离散傅里叶算子. 在下一帧中, 以大小为M N ⨯的窗口搜索样本z , 计算得到的响应图为
开讲啦施一公()()()()1
ˆˆφφ-⋅=y
A z x
(3) 其中, ˆx
表示学习到的特征模型; 表示按元素积; 目标的新位置在式(3)目标滤波响应ˆy
的最大值处得到. LCT 算法在跟踪时同时训练2种回归模型, c R 回归模型利用目标特征与背景特征的时间相关
性, 以便更好地从背景中区分目标. 为克服算法的边界效应, 可选择扩大搜索范围, LCT 算法则通过对目标和上下文的响应加入余弦窗的方式解决.
1.2 融合判别尺度空间的长期相关跟踪
在这项改进工作中, 本文在LCT 算法的框架下, 融合了fDSST 算法. 首先从目标外观的单个样本f 学习多通道相关滤波器, 将图像块特征记为
f , 它由1,,d f f 组成; 对应一维
g 也是由
1,,d g g 组成, 同理滤波器h 也由1,,d h h 组成.
通过使所需相关输出g 与相关响应的2L 误差
2
2
1
d
l l
l
l g ελ==-*+∑h f
h (4)销售产品
最小化来实现. 其中, l f 表示特征金字塔的第l 维特征通道, {1,,}l d ∈ ; *表示空间域循环相关运算; 期望的相关输出g 选择为高斯函数; λ为正则化项.
对于式(4)通过Parval 公式转换到傅里叶域来解决线性最小化问题
1
, 1,,l
l d
b
b
b l d λ
==
=+∑GF
H F
F
(5)
其中, F 和G 分别为f 和g 的离散傅里叶变换;
G 表示复共轭. 本文使用新的样本t f 更新式(5)中
滤波器l t H 的分子l t A 和分母t B , 即
111(1), 1,,(1)l l l t t t d b b t t t t
b l d ηηηη--=⎧=-+=⎪⎨=-+⎪⎩
∑ A A GF B B F F (6)
其中, η表示学习率. 在新的一帧中使用过滤器时, 先在目标平移估计中心提取样本t z , 使用与
t f 相同的特征表示, 计算相关性分数t y 的傅里叶
变换
11
1d
l l
t t l t t λ
-=-=
+∑A Z Y B (7)
在尺度估计模型t R 的特征空间中, 本文没有添加余弦空间权重, 而选择在平移估计最大响应
,trans t y 的位置附近提取HOG 特征, 构造一维目标
金字塔进行尺度估计, 以精确地评估目标当前尺度. 在目标中心周围提取一系列图像块n J , 大小为n n a a ⨯P Q ,{[((1)/2)],,[(1)/2]}n S S ∈--- , P 和Q 分别为目标在前一帧的宽和高, 1.02a =为尺度因子,33S =为尺度滤波的长度, 即尺度总级数. 通过式(6)更新尺度滤波器t R , 计算在目标中心位置不同尺度下的响应,scale t y , 最优尺度为
12,scale ˆˆˆˆarg max[max(),max(),,max()]t s
s
y y y = . 为保证t R 尺度估计模型自适应尺度估计, 模型以固定学习率η逐帧更新.
1.3 尺度降维
相关滤波跟踪算法中快速傅里叶变换计算成本较高, 为提高目标跟踪算法的速度和精度, 采用三角插值和特征降维的方法来减少所需执行的快速傅里叶变换次数.
三角插值方法通过式(7)计算执行内插所需的相关分数的离散傅里叶变换系数, 再对式(7)中t Y 的高频进行零填充, 以获得插值得分ˆt y
, 使其大小与插值网络相等, 由执行填充的t Y 的逆获得插值得分.
特征降维方法先通过更新目标模板t =u
()11t t ηη--+u x , 再使用t u 构建特征投影到低维子
空间的投影矩阵t P ; 其大小为ˆ⨯d
d , ˆd 是压缩特征表示的维度. 通过最小化t u 的重构误差
2
T ()()t t t t n
n n ε=-∑u P P u
(8)
来获得t P . 其中, 在正交性约束T
t t =P P I 下式(8)
388
计算机辅助设计与图形学学报
第33卷
被最小化, 通过自相关矩阵()()T
t t t n
n n =∑C u u 进
踪的组词行特征值分解来获得解. 更新滤波器使用压缩的
训练样本{}t
t t
=F
P F 和压缩的目标模板{}t t t
=U P u , 如 ()11
,
1,,1l l t t k k t t t t
k d l d
ηη-=⎧==⎪⎨=-+⎪⎩∑A GU B B F F (9) 在满足模板更新条件时, 利用式(9)更新平移
估计模板, 通过压缩样本{}1t
t t
-=Z
P z 计算测试样本t z 的相关性分数
11
1
d
l l t t
l t t λ-=-=
+∑ A Z Y B (10)
在尺度滤波器中, 特征维度d ≈1 000远大于PCA 的样本||17S =, 通过QR 分解降维几乎可以无损地将1 000×17降到17×17, 尺度模板t u 被压缩
到ˆd
S =, 并不会对有效样本信息造成损失, 对于不够的样本用三角插值补充到33维, 可有效地降低计算成本以及额外的计算力来扩大目标搜索区域, 以提高鲁棒性.
1.4 高置信度样本集
在目标跟踪过程中, 当目标被遮挡, 或者跟踪器丢失目标时, 需要调用检测器. 本文通过提取高置信度响应对应样本帧, 建立高置信度样本模板集
{
}
三角湖公园
12
ˆ (),(),,()argmax k
N y y y f δ
δδδδδ=∈ (11)
其中, ()y δ表示最高响应满足(),trans h_app max t y Ψ>且(),scale h_scale max t y Ψ>的样本帧δ响应值. 取()k k N N N ≤帧高置信度样本集中的最高响应对应
吴姓男孩取名
模板ˆδ, 用于重检测的特征相似度匹配, 并更新外观模型.
1.5 重检测和模板更新
1.5.1 在线分类蔟
在跟踪失败的情况下, 保持稳定的长期目标跟踪算法需要重检测模块. 本文采用LCT 算法中的一个在线随机分类器作为检测器, 在满足(),trans max t r y ψ<；时激活检测器rf D .
令i c 为分类标签, 其中{0,1}i ∈, 每个分类蔟联合分布如
()()12,,,||M
N i w i w E f f f C c E F C c ===∏ (12)
其中, ()()(){},0,,2,,,w F f w f w f w N τττ= 代表第
w 个分类蔟; 每个分类蔟w F 的条件概率通常表示
为(),|=i
w c
w i k
N E F C c N =. 根据贝叶斯公式, 可检测
到式(12)中最优类()1ˆarg max |i
M
i w i c w c
E F C c ===∏. 1.5.2 BBS
BBS 是基于对源集合和目标集合中点的最佳伙伴对(best-buddies pairs, BBP)数量进行计数, 其中每个点是彼此之间的最近邻. 在跟踪目标受遮挡、背景杂波和变形情况下, 遵循传统的滑动窗口方式, 将高置信度模板ˆδ与给定图像匹配[15], 计算二者间的关键特征相似性度量, 并具有良好的适应性.
令{}1i i R r γ==和{}1i i Q q θ
==分别表示高置信度模板特征集和候选区域特征点集, 2组点的BBP 为
()()(,,,)1,if NN(,)&NN(,) 0,otherwi
i i i i i i bb r q R Q r Q q q R r =
⎧==⎨
⎩ (13) 其中, ()()NN ,arg min ,i i q Q
r Q d r q ∈=表示点集Q 中的
i r 的最近邻; (),i d r q 是一些距离度量. 结合式(13)
得到点集R 和Q 之间的BBS 为 (){}
()11
1BBS , ,,,min ,i i i j R Q bb r q R Q γθ
γθ===
⋅∑∑ (14)
()BBS ,R Q 计算得到高置信度模板在搜索区域
的最佳伙伴似然概率, 由式(14)相似度最高处定位到目标准确位置. 当目标被遮挡连续s N 帧, 且满足(),trans ΒΒS max t y ψ<, 调用BBS 重检测模块准确定位到跟踪目标, 以实现长期目标跟踪.
1.5.3 均衡模板更新
在目标发生遮挡时, 直接的模板更新会使跟踪模型变得不可靠. 如在KCF [16]和fDSST 等算法中不依靠结果可靠性进行模板更新, 选择的是对每一帧都进行更新, 或者如其他算法间隔几帧更新一次; 但当目标被遮挡时, 都解决不了模型漂移的问题. 本文算法利用响应值前后相邻k 帧差值max Y ∆, 对模型是否更新进行判定. 若max u Y ψ∆<,
且(),trans h_trans max t y ψ>, 则正常更新模型, 避免响应值突变造成模型漂移, 实现目标遮挡和模型漂移后的目标重定位. 本文定义相邻k 帧响应值差为max ,trans ,trans t k t Y y y -∆=-, ,trans t y 表示当前帧最大响应, ,trans t k y -表示前k 帧最大响应值.
第3期
夏亮, 等: 融合尺度降维和重检测的长期跟踪算法 389
1.6 本文算法流程
输入. 初始图像0x , 目标框初始位置1t p -. 输出. 目标平移估计t p , 尺度估计t s , 更新模型c R ,t R .
Step1. 平移估计:
Step1.1. 在目标平移估计中心提取样本t
z ; Step1.2. 根据式(10)计算核相关响应,trans
t y ; Step1.3. 由最大响应,trans t y 估计当前帧位置t
p .
Step2. 尺度估计:
Step2.1. 在当前帧t
p 处提取尺度样本,scale t z ; Step2.2. 根据式(10)计算核相关响应,scale
t y ; Step2.3. 由最大响应,scale
t y 估计目标尺度t
s .
Step3. 建立高置信度样本集:
()(),trans h_app ,scale h_scale if max()&max()t t y y ψψ>>{
Step3.1. 根据式(11)建立高置信度样本模板集; Step3.2. 重检测: (),scale
r
if max t y ψ<
使用在线检测器重定位目标t
p . s ,trans BBS
if max()t N y ψ<；连续帧{
使用BBS 重检测匹配ˆδ和图像X , 并
找到目标位置i p ;
将i
p 代入检测器rf
D 计算,trans
t y ,,scale
t y ;
} }
Step3.3. 模型更新:
()()max
u
,trans h_trans
if &max()t Y y ψψ∆<>{ 根据式(9)更新平移估计模型c R 分子,trans
t A
,
分母,trans t B ;
根据式(9)更新尺度估计模型t R 分子,scale t A
,
分母,scale t B ;
} }
2 实验结果分析
2.1 实验平台及参数设置
本文实验的硬件环境为Intel(R) Core(TM) i7-7700HQ(2.80 GHz)的CPU, 8 GB 内存, 算法的开发平台为Matlab 2018a. 具体实验参数设置如下: 样本搜索框为目标大小的2倍, 正则化参数0.01λ=; 模型固定学习率0.025η=; 将尺度相关性输出
17S =插值到ˆ33S
=, 尺度因子 1.02a =. 2.2 阈值选取
本实验中有多个阈值设定来保证算法的精确度和实时性. 在平移估计模型中, 本文设置低阈值
r =0.15ψ去激活在线分类蔟检测器; BBS 重检测阈值BBS =0.075ψ, 连续遮挡帧数s =5N ; 模板更新前后相邻帧=3k ; 模板更新前后相邻帧=3k . 在发生遮挡后, 模型漂移使响应值突变, 由多组视频序列分析后, 取平均帧间差阈值u 0.22ψ=, 外观模型更新阈值h_trans 0.58ψ=; 并在固定以上参数基础下, 筛选出合适的高置信度样本阈值和尺度阈值.
表1所示为2种阈值中的多组效果较好的空间鲁棒性评估(spatial robustness evaluation, SRE)成功率和速度结果. 由表1可知, 在高置信度样本阈值h_app 0.55ψ=, 尺度阈值h_scale =0.55ψ条件下算法更稳定准确, 速度更快, 故本文实验在设定参数下进行算法的综合性能评估.
表1 阈值参数选取
阈值设定
h_app ψ h_scale ψ
约定英语SRE 成功率/% 速度/(帧·s −1)
0.50 0.55 76.0 28.28 0.55 0.53 76.0 25.41 0.55 0.55
76.0 29.98
0.55 0.57 75.8 25.92
0.55 0.60 75.2 28.41 0.60 0.60 74.8 23.36
注. 粗体表示最优结果.
2.3 性能评价标准独家记忆粤语
为充分分析验证本文算法的性能, 在实验中对包含100个视频序列的在线跟踪基准OTB-2015数据集[17]中的27个视频进行综合评估, 采用OTB-
2015中的精确度图和成功率图2种评价方法作为定量评价指标. 精确度图能够显示目标中心位置误差小于20个像素的帧数占总跟踪数的百分比; 成功率图显示重叠率大于给定阈值的帧数占跟踪序列总帧数的百分比. 本文的精确度曲线图和成功率曲线图展示的是提出的算法与Tracker_
benchmark_v1.0测试工具箱中的算法及KCF [16], LCT [11], TLD [10], fDSST [8], SAMF [5], SRDCF [18], Staple [19]和ECO [20]等共29种算法的对比结果, 且结果图中只显示性能排名前10的跟踪算法结果.
2.4 定量分析
2.4.1 整体性能分析
为进一步全面地评估本文算法的性能, 本实验利用OTB-2015基准数据集中的10个属性定量分析, 并与其他算法相对比. 表2显示本文算法在一次通过评估(one-pass evaluation, OPE)距离精度
