多⽬标跟踪评价标准（MOT）
简介：家常卤牛肉
是多⽬标跟踪领域最为常⽤的benchmark，其中2D MOT15，3D MOT15，MOT16，MOT17，MOT20都是多⽬标跟踪领域常⽤的数据集。
下⾯我们按照MOTChallenge中的评价标准进⾏介绍，当然MOTChallenge也主要参考
年终总结及明年计划ppt评价指标：
总结
CLEAR MOT Metrics认为⼀个好的多⽬标跟踪器应该有如下三点特性：
1.所有出现的⽬标都要能够及时找到（检测的性能）
2.找到⽬标位置要尽可能可真实⽬标位置⼀致（检测的性能）
3.保持追踪⼀致性，避免跟踪⽬标的跳变 （匹配的性能）
所以可以看出，多⽬标跟踪和⽬标检测是密不可分的，检测的性能不可避免的会对跟踪的性能造成影响。
MOTChallenge的评价指标⼀共有⼗⼀个，分别是
Measure Better Perfect Description
MOTA higher100%跟踪的准确度，和出现FN，FP，IDs的数量负相关，可能出现负值。
MOTP higher100%跟踪的精度，GT和检测的bbox的匹配交叠
IDF1higher100%引⼊track ID的F1
FAF lower0每帧的平均误报警数
MT higher100%命中的轨迹占总轨迹的占⽐，定义命中的轨迹为长度⼩于ground truth 80%的轨迹
ML lower0丢失的轨迹占总轨迹的占⽐，定义丢失轨迹为长度⼩于ground truth 20%的轨迹
FP lower0FP的总数量，fal positives也就是误检
FN lower0FN的总数量，fal negatives也就是漏检
IDs lower0ID改变的总数量
Frag lower0轨迹被打断的总数量
Hz higher Inf 处理速度，不包括检测器的耗时，⽽且这个指标由作者提供，MOTChallenge是计算不出来的，因为递交的是offline⽂件。出国留学的利弊
行宫见月伤心色MOTA
其中，FN为Fal Negative，FP为Fal Positive，IDSW为ID Switch，GT为Ground Truth 物体的数量。MOTA考虑了tracking中所有帧中对象匹配错误，主要是FN，FP，ID Switch。MOTA给出了⼀个⾮常直观的衡量跟踪器在检测物体和保持轨迹时的性能，与物体位置的估计精度⽆关。MOTA取值应⼩于100，当跟踪器产⽣的错误超过了场景中的物体，MOTA会为负数。需要注意的是，此处的MOTA 以及MOTP是计算所有帧的相关指标再进⾏平均（既加权平均值），⽽不是计算每帧的rate然后进⾏rate的平均。
注意MOTA中的FN，FP是检测的结果，⽽不是跟踪的结果，也就是说MOTA中只有IDs是和跟踪有关系的，剩下的都是检测。MOTA相⽐于IDF1要更偏向与检测。
幼儿园剪纸
MOTP
其中，d为检测⽬标i和给它分配的ground truth之间在所有帧中的平均度量距离，在这⾥是使⽤bounding box的overlap rate来进⾏度量（在这⾥MOTP是越⼤越好，但对于使⽤欧⽒距离进⾏度量的就是MOTP越⼩越好，这主要取决于度量距离d的定义⽅式）；⽽c为在当前帧匹配成功的数⽬。MOTP主要量化检测器的定位精度，⼏乎不包含与跟踪器实际性能相关的信息。
IDF1
I D F 1 = 2 × I D P × I D R I D P + I D R IDF1 = \frac{2\times IDP \times IDR} {IDP + IDR}IDF1=IDP+IDR2×IDP×IDR
I D R = I D T P I D T P + I D F N IDR = \frac{IDTP} {IDTP + IDFN}IDR=IDTP+IDFNIDTP
I D P = I D T P I D T P + I D F P IDP = \frac{IDTP} {IDTP + IDFP}IDP=IDTP+IDFPIDTP萎缩名词解释
⽽IDTP，IDFN和IDFP就引⼊了ID考量的TP，FN和FP，这种考量是⼀种min-cost原则的匹配计算。
⽐如存在⼀段GT track，是10个1，有2个predict的track，是track1和track2：
truth ：1-1-1-1-1-1-1-1-1-1
track1：1-1-2-2-3-3-4-4-5-5
track2：1-1-2-2-1-1-2-2-1-1
那么预测的结果是：
track IDTP IDFN IDFP IDP IDR IDF1
track128820%20%20%
track264460%60%60%
6270那么为什么track2的IDTP是6⽽不是4呢？
因为⽤id1区匹配GT的话，min-cost更⼩。
FN&FP&IDs&Frag
假设GT只有⼀条，⽤虚线表⽰，也就是说在GT中由6帧图像，并只有⼀个track id。下⾯由a，b，c，d四张图，涵盖了FN，FP，IDs和Frag的情况。
猫捉老鼠狗看门
在图a中，GT被预测为红蓝两条，红⾊轨迹F1时并没有匹配上GT，所以GT实际上是⼀个FN，也就是实际为⽬标，但是被遗漏了。同理红⾊轨迹的F1结果，也就是⼀个FP，因为实际上是⼀个不存在的东西被判定成了⽬标。
同理，蓝⾊轨迹F3，F4也是FP，⼜因为GT由4到5时，id从红⾊变成蓝⾊，所以存在IDs。
在图b中，还是同样的GT，这次红蓝两条轨迹没有交叠，在F3的地⽅GT断开了，所以存在⼀次Frag。
