siamfc代码解读_SiamFC算法改进思路视频追踪问题中，⽬标通常是连续可微的。
SiamFC利⽤全卷积孪⽣⽹络结构对搜索域和样本图像进⾏相似度匹配，实现追踪⽬标。
本⽂分析了SiamFC在vot2015数据集上的追踪结果，总结出以下问题，并提出针对性的改进⽅案。
表现鲁棒⼩范围晃动
运动模糊
短时局部遮挡
重点问题
光照变化
视频中⽩⾊猫由亮处转⼊阴影中，跟踪结果开始出现偏差。别墨迹
光照条件较差，⽽且⽬标的⾐服为⿊⾊，与背景相似。特征不够明显。
形变、尺度变换
本视频中镜头由远突然拉近，原本跟踪的是歌⼿的⾯部，却⽆法及时适应尺度的变化。
复杂背景
当⾸帧标定框内⽬标外的背景信息较复杂时，也易对追踪造成⼲扰。
本视频中，在⾸帧进⾏标定时，框内除恐龙模型外背景信息也较为复杂，⽽且颜⾊与⽬标相近。
本视频中，⽬标剧烈旋转运动，⽽且背景信息也⾮常复杂，对追踪⼲扰较⼤。
相似物
放下作文
⼀般是背景中存在与⽬标颜⾊、外观相似的⼲扰物。
当⼀幅图中出现多个相似⽬标，搜索域中也可能会混⼊⼲扰⽬标。
⽬标与⼲扰物相交⽽过。
快速移动、⼤⾯积遮挡
高铁带酒
当⽬标突然加速运动或被遮挡，逃离了模型的搜索区域。跟丢⽬标后，未能重新识别上。
⼩⼥孩突然加速，且此时相机对焦出现模糊，⼲扰了追踪结果。
件的组词其他(⽹络结构)
对模型最后的responMap进⾏分析：
左侧为响应图，右侧为对应scale的arch image。图⽚名字中的数字代表第⼏帧。
可以看到不只⼩⼥孩会有响应，其他⼈出现的时候也会产⽣响应。但是背景却没有响应，说明卷积⽹络的objective能⼒很好，但是对于类内的物体区别能⼒很差。所以很容易被其他⽬标⼲扰。
怀疑可能是由于采⽤的⽹络为专门为分类任务设计的Alexnet，导致类内区分度不够。
下雪简笔画王乃岩博⼠也在VALSE公众号的⽂章《Object Tracking新思路》中提到
个⼈觉得现在这两篇⽂章预训练的⽹络仍然来⾃VGG⽹络，但是前⾯提到了classification和verification是性质完全不同的两类问题，直接使⽤基于classification预训练的⽹络可能不是最优的。如果通过verification⽅法在⼤规模数据集上训练出的⽹络在SOT中会不会有更好的表现呢？我很期待看到这样的结果
也有可能是相似度度量⽅式的问题。
SiamFC采⽤cross correlation的⽅式卷积计算两个feature map的相似度。
⽩⾊物体似乎响应更强烈
尝试改为余弦相似度。
总结及解决思路
视频追踪中出现的问题往往是多⽅⾯⼲扰因素造成的，因此上⾯只是取⼀些代表性的⼲扰因素予以图⽰。
综合考虑，能够导致SiamFC模型failure的根本原因⼤致如下：
⽬标特征不够具体、突出、全⾯
没能利⽤好空间信息、运动信息
搜索域⽅法的局限性
classification和verification的本质差别
etc.
解决思路
1、必须加⼊在线更新的策略
大张伟个人资料简介⼀些⽅法为了提升速度⽽选择放弃在线更新，极⼤地浪费了视频序列中的⽬标信息。
但是在线更新必须要⾯临两个问题，⼀个是如何更新，会影响速度和效果；还有⼀个是更新带来的模型漂移，即⽬标信息误差的累积。
看到⼀个思路《Visual Tracking by Reinforced Decision Making》，建⽴⼀个样本池，并训练⼀个决策模型，选择最合适的template。
2、需要对⾸帧标注图像做处理
⾸帧标注是唯⼀的绝对可信的⽬标信息。⽽SiamFC模型中，采⽤的是矩形examplar image与搜索域arch region进⾏互相关计算，如果不能降低examplar图像中背景信息的⼲扰，则必然会对结果造成影响。
因此应当对标注图像进⾏进⼀步的⽬标提取，并对背景信息进⾏抑制。
尝试1：
直接对⾸帧图像进⾏处理，⽬标外的背景涂成⽩⾊。
传统品牌网络营销
dinosaur序列没有明显效果提升。⼀如既往没有跟到⽬标。
bag序列修改后，spr=0.5661，修改前，spr=0.6061。居然变差了⼀点点。。有些尴尬。
尝试2：
分析可能是⽩⾊背景的问题，改成⿊⾊试试。
改成⿊⾊背景，dinosaur序列的spr虽然没有改善，但是观察结果有增强。
bag序列提升很明显，spr从0.6061提升到0.7452。
但是对gym3序列进⾏实验时效果反⽽很差。改为⽩⾊背景则⼜有所提升。分析是由于其背景主⾊偏⿊所致。
说明需要增强的是⽬标和背景的对⽐度。
尝试3：
使⽤FCN进⾏图像分割：
直接将fcn的输出作为mask，乘以z_crop。分割效果不佳，⽬标偏⼩，反⽽降低了spr。
明天尝试对分割结果进⾏腐蚀操作。
有关读书的诗
腐蚀后即使分割效果很好，但是追踪结果却⾮常差。
分割后模型产⽣的responMap如下(与上⾯对应)：
分割后，⽬标的响应变⼩，精度更⾼，但是也导致抗⼲扰能⼒下降。
SPR值不升反降。这种思路可能有问题。。。暂时放弃。
分析
分割后效果不佳，说明模板图像中的背景信息作为上下⽂，对于追踪本⾝也是很重要的。可是对基于相似性学习的SiamFC来说，为什么⽬标以外的背景信息也会这么重要呢？
3、利⽤空间信息，估计运动模型
在存在较多相似⽬标的场景中，可能特征匹配难以准确地判断哪个才是真正的⽬标。⽽⼈在这种场景下追踪⽬标的策略往往是根据
1、⽬标的空间信息，例如⼀队⼈中的第⼏个，或者⽬标周围有哪些参照物。这⼀点可以通过对⽬标旁边的背景进⾏建模实现。
2、根据⽬标的运动轨迹进⾏预测，因为⽬标的变化(⽆论是位置还是外观)在序列中往往是连续可微的。
(上课去。。回来继续补充)
