gallery是什么意思

REID重识别的⼀些思考-MAP指标的计算详细（三）

前⾔：⽹上搜索reidmap的计算，会出现很多版本的计算⽅式，有很多中计算⽅式，但是这么多哪⼀个是正确的，看了这么多版本该

信谁的？所以还是去Google找资料，看paper，下⾯是我的个⼈理解，希望能帮到你

MAP的计算在⽬标检测中和图像检索中稍有不同

REID的评价标准

 ⾸先说⼀下REID的评价标准，常见的有top-1top-5top-10CMCMAP评价指标，那么为什么要有这么多的评价指标，都是⼲嘛的，

简单来说top-n的指标⼤家都知道是⼲嘛的，但是这个指标不能很好的评价模型的好坏，所以这⾥就提出了另外的计算⽅式CMC，这个指标

是在top-n的指标上⽣成的，那他是⼲嘛的，⽐如我有3个query：

下述中的01不代表ID，只代表是不是和query对应的ID，1代表是⼀样的ID

第⼀个query的结果为1，0，0，0，1所以对应的top-1:100%top-5:100%

第⼆个query的结果为0，0，0，0，0所以对应的top-1:0%top-5:0%

第三个query的结果为0，0，0，0，1所以对应的top-1:0%top-5:100%

所以最终的CMC就是三者平均的结果（⽽不是具体针对某⼀个qurey的结果）：top-1:33.3%top-5:50%，表⽰该模型top-1的整体识别

准确率为33.3%，对应的我们可以画出不同top-n下的CMC曲线，⼀次命中率越⾼，说明我们的模型性能越好

 那么为什么⼜有AP了，假如我们现在只计算top-1的CMC，现有这样的⼀个查询结果，CMC都是1，但是明显可以看到b的效果好于c

的，所以在multi-query的背景下，CMC指标不再是⼀个很有效的指标，所以这⾥就要AP这个指标来评判了，所以才计算MAP

note:这张图来⾃market-1501提出的paper:ScalablePersonRe-identification:ABenchmark

REIDMAP的计算

 图像检索中的MAP的计算⼜分为single-shot和multi-shot，不同的shot⽅式对应不同的map计算⽅式

1、single-shot

 该种⽅式说的是在gallery中最多只有⼀个匹配，这个可以参考我的这篇博客中的解释，⽐如我想做⼀个⾏⼈的查询，在训练集中可能每个

⼈都有很多张的照⽚，但是在构建gallery的时候，这⾥每个⼈也就是每个ID只有⼀个向量，这个向量可以是随机挑选这个⼈(相同的ID)其

中⼀张照⽚⽣成的，也可以是这个⼈/ID的所有图像向量的均值，所以当我们拿⼀个query做查询的时候，在gallery中最多只会得到⼀个正

确的结果。所以这⾥的AP就特别好计算，由于最终的recall的值要么为1，要么为0，所以这⾥就可以直接忽略recall的值，可以参照我下⾯

博客链接中的⽅式进⾏实现。

2、multi-shot

 这种⽅式计算的就很有意思了,⽬前⽹络上查询会出现很多的版本，每种版本的计算⽅式都略有不同

⽅式⼀

 ⽬前最常见的⽅式和single-shot的计算⽅式相似，只是计算AP的值，具体的计算⽅式见这个，

⽅式⼆

 这⾥就是根据MAP的定义进⾏计算，即求P-R曲线下⾯的⾯积，关于precision和recall的计算⽅式和上述相同，然后根据⽬标检测的⽅

式进⾏AP的计算。

 但是这种⽅式还存在⼀个问题就是：预测的时候我们取前多少个作为prediction输出，验证集中ID对应gallery中相同ID的数量不同，有的

多有的少怎么办，⽐如取前100个prediction输出的概率，那么如果⼀部分ID对应的相同ID的图像数量只有10张，另⼀部分有100张怎么

办，是数据倾斜的问题还是MAP会将这样的输出进⾏抵消？论⽂中的MAP计算⽅式都是map@5、map@100还是计算所有的gallery，进

⾏排序？

（看了⼏个GitHub的实现，）

这⼏个中都是对于market1501数据集的evaluation的评判标准，这⾥⾯的计算有⼏个关键的点：其中的predctions是全部的gallery的计

算结果，其中计算recall的分母为gallery中所有和query相同的ID图像的总数量（如果考虑cross-view的话（也就是跨境识别），就要除去

同⼀camera下的junk图像），所以这⾥⾯不涉及到取预测值的前多少个，所以也就不涉及到上述中提到的问题了。

 还有⼀种⽅式是⽐如取前5个prections，然后recall的计算分母就是5（默认输出的就应该是正确的，这个是之前⼀直想错的地⽅），计

算⽅式和上⾯的相同，也是计算P-R曲线下⾯的⾯积，但是这⾥具体实现⽅式和之前做的不太⼀样，这⾥的计算⽅式为计算梯形的⾯积，具

体的计算过程会感觉没有Recall的参与吗，但是实际上参与了，只是没有显⽰的参与。具体的解释见这篇博客(看过最清晰的解释)

 note:这⾥的计算⽅式和上述market-1501paper图中的计算结果是不相符的，但是⽬前很多的计算⽅式都是基于上述连接中的计算⽅

式，paper中没有进⾏具体的描述，所以这⾥就暂时认为那张图只是进⾏说明，具体的计算还是以这个链接为准。

⽅式三

 这⾥的⽅式是⾕歌地标识别⼤赛的⼀种评价⽅式，这⽅式实现的⽅法和上述链接中的⽅式挺像的，也⽤到了Recall，只是将其放到了分

母中。

 其中nq的值为prection的个数，和设定的100取最⼩值，⼀般的预测输出的个数就是gallery的⼤⼩，也就是说⼀般都是⼤于100的

mq为在gallery中和query相同ID的图像个数，取其和100的最⼩值，也就在另外⼀个⾓度解释了当有的图像在gallery中相同ID的图像数量

多，有的少的计算⽅式不同，⽐如有的query图像在gallery中有10张相同ID的图像，那么我们预测输出的100个预测值中最多有10个正确

的，有的query图像在gallery中有100张相同ID的图像，那么我们预测输出的100个预测值中可能就全部正确，这样对于那些图像数量少的

就有点不公平了，所以这⾥就做了⼀个min的操作。

对应的代码链接：

最新：

 ⽬前确定的计算⽅式为⽅式⼆中的计算⽅式，因为很多GitHub上的实现⽅式为该种，计算所有的gallery中的数据（本⼈的项⽬中不⽤考

虑cross-view的情况）