⾏⼈重识别简介+数据集+核⼼论⽂点
1、⾏⼈重识别是什么？
⾏⼈重识别（Person re-identification）也称⾏⼈再识别，是利⽤技术判断图像或者视频序列中是否存在特定⾏⼈的技术。⼴泛被认为是⼀个的⼦问题。 给定⼀个监控⾏⼈图像，检索跨设备下的该⾏⼈图像。旨在弥补⽬前固定的摄像头的视觉局限，并可与/⾏⼈跟踪技术相结合 ，可⼴泛应⽤于、智能安保等领域。
⾏⼈再识别（Person Re-Identification，简称 ReID），从字⾯意思理解就是对⾏⼈进⾏重新识别，是对不同的、没有视野重叠覆盖的（non-overlapping）摄像机拍摄的⾏⼈图像建⽴对应关系的处理过程。当摄像头拍摄范围之间不存在重叠时，由于没有了连续信息，检索难度也随之增⼤⾮常多。因此，⾏⼈再识别强调的是在跨摄像机的视频中对特定⾏⼈进⾏检索。
注：图像检索分为两种，⼀种是基于⽂本的图像检索，另⼀种是基于内容的图像检索。基于内容的图像检索（Content-bad Image Retrieval，简称）技术是对图像的内容语义，如图像的颜⾊、纹理、布局等进⾏分析和检索的图像检索技术。
基本概述：在检索原理上，⽆论是基于⽂本的图像检索还是基于内容的图像检索，主要包括三⽅⾯：⼀
⽅⾯对⽤户需求的分析和转化，形成可以检索的提问；另⼀⽅⾯，收集和加⼯图像资源，提取特征，分析并进⾏标引，建⽴图像的索引数据库；最后⼀⽅⾯是根据相似度算法，计算⽤户提问与索引数据库中记录的相似度⼤⼩，提取出满⾜的记录作为结果，按照相似度降序的⽅式输出。 [2]
2、⾏⼈重识别能⽤来做什么？
⾏⼈再识别（ReID）在公共安防的刑侦⼯作中以及图像检索等场景中有很⾼的应⽤价值。除此之外，ReID还可以帮助⼿机⽤户实现相册聚类、帮助零售或商超经营者获取有效的顾客轨迹、挖掘商业价值。也可以追踪失踪⼉童，罪犯，⼩偷/保护vip等。
3、与⾏⼈重识别有关的问题
3.1 ReID的难点
由于图像拍摄的时间、地点随机，且光线、⾓度、姿态不同，再加上⾏⼈容易受到检测精度、遮挡等因素的影响， ReID的研究⼯作⾮常具有挑战性。
3.2 ⾏⼈重识别 和 ⼈脸识别 有什么不同?
⾏⼈重识别 是⽤⼀个摄像头下的照⽚ 去认其他摄像头下是否再次出现了这个⼈。需处理摄像头的viewpoint变化，⾏⼈的姿态变化等。baggio
⼈脸识别 是给定pair，去识别是不是同⼀个⼈，或者找到照⽚库中见过的⼈。
⾏⼈和⼈脸⼀样具有结构，但⾏⼈结构更复杂⼀些，部件更多，不容易对齐。
⼤型⾏⼈数据集难以获得，不像⼈脸可以扒名⼈。现有⾏⼈重识别数据集（DukeMTMC-reID，CUHK03，Market-1501等等）都是在校园中实际⽤摄像头录的。⽽早期的⼩数据集(Viper等)已⽆法提供全⾯评估，逐渐少⽤。
⾏⼈重识别落地的产品很少， ⽽⼈脸识别的⼤量应⽤已经落地
3.3 ⾏⼈重识别能不能⽤⼈脸识别做重识别？
理论上是可以的。但是有两个原因导致⼈脸识别较难应⽤：⾸先，⼴泛存在后脑勺和侧脸的情况，做正脸的⼈脸识别难。其次，摄像头拍摄的像素可能不⾼，尤其是远景摄像头⾥⾯⼈脸截出来很可能都没有32x32的像素。所以⼈脸识别在实际的重识别应⽤中很可能有限。
3.4 有些⼈靠⾐服的颜⾊就可以判断出来了，还需要⾏⼈重识别么？
⾐服颜⾊确实是⾏⼈重识别 做出判断⼀个重要因素，但光靠颜⾊是不⾜的。⾸先，摄像头之间是有⾊差，并且会有光照的影响。其次，有撞衫（颜⾊相似）的⼈怎么办，要找细节，但⽐如颜⾊直⽅图这
种统计的特征就把细节给忽略了。（颜⾊直⽅图的缺点：统计特征粗糙，忽视细节处理）在多个数据集上的测试表明，光⽤颜⾊特征是难以达到50%的top1正确率的。
3.5 使⽤图像检索的指标来衡量⾏⼈重识别的结果是否合适？
在早期，⾏⼈重识别数据集是由两个摄像头采集的⽐如viper，每个query只有⼀个正确的retrieval⽬标。所以往往使⽤top1⽐较。但在近期，随着⼤数据集的提出，数据集中往往包含多个摄像头的多个正确⽬标。光使⽤top1的话，不能反应模型的真实能⼒。所以类似图像检索，重识别加⼊了mAP作为衡量标准，将pn都考虑进去。
3.6 如何处理多摄像头下图像中⾏⼈变化问题？
多个摄像头下拍摄⾏⼈的⾓度不同，图像中的⾏⼈可能72变。（如图1）所以要正确判断的话，就要找到⾏⼈上的局部不变的part（⽐如：⾐服颜⾊，⾐服纹理，⼿提包，背包等等）。在计算机视觉中，常⽤的特征就有颜⾊直⽅图等等
图1 （DukeMTMC-reID 数据集的retrieval demo）
3.7 如何进⾏测试？
主要有两种⽅案：
a.测试的输⼊是⼀对⾏⼈，输出为这对⾏⼈的相似度，然后再按相似度排序；
b.输⼊单个⼈，提取特征，再计算与其他⼈的欧式距离，然后再按距离排序。
第⼀种⽅案的优点是，判断两个⼈是不是⼀个⼈，简单的⼆分类（是／否）。但缺点是如果我们搜索库中有m张图⽚，那么与⽬标图⽚组成m对图⽚对。每⼀对都要进⼀次模型，估算相似度，这极⼤的增加了测试的时间。如果我们有n个query，那么我们要计算nm次相似度（⽽m往往很⼤）。另⼀种⽅案是，预先提取⾏⼈的特征，我们只要预先提好n+m次特征。之后只要⽐较就好了，⽐较特征可以简单的⽤矩阵乘法实现。
⽬前两种⽅案都有在⽤，但是后⼀种更接近实际中图像搜索的要求，⽤特征来快速检索。
3.8 科研中的⽅案
概括得不全，⽐较直接和简要的想法有以下两种（主要在神经⽹络上实现）：
1. Part匹配：⼀部分⼀部分来⽐较。
a.常见⽅案是⽔平切条，就是将图像切为⼏个⽔平的条。由于⼈体⾝材往往差不多，所以可以⽤简单的⽔平条来做⼀⼀⽐较 [1,2,3,4]。
b.在领域中做匹配，采⽤的是⼀个正⽅形的领域 [6]。
c.另⼀个较新的⽅案是先在⼈体上检测部件（⼿，腿，躯⼲等等）再进⾏匹配，这样的话可以减少位置的误差，但可能引⼊检测部件的误差[7,8]。
d. 类似LSTM的attention匹配，但必须pair输⼊，测试时间较长。[5,10]
2.Loss设计：常见的⼏种学习特征表达的loss
a. identification loss 直接拿⾝份label做多类分类 [9]
b.verification loss [2,3,5,6] （主要是contrastive loss。[3, 6]中采⽤的是⼆分类loss）
c. identification loss ＋ verification loss [11,12]
d. triplet loss [10,13,14]
e. 加⼊辅助任务 ⽐如使⽤attribute等等 [15],
f. 数据增强 混合多数据集训练 [16] ，加⼊训练集上GAN⽣成的数据 [17].
amiss⽬前有⼀些公开的代码，可详见之前的知乎回答： 做了⼀些汇总。
更多内容 关注 专栏
Reference
[1] Shengcai Liao, Yang Hu, Xiangyu Zhu, and Stan Z Li. 2015. Person re-identification by local maximal occurrence reprentation and metric CVPR.charter
[2] Dong Yi, Zhen Lei, Shengcai Liao, and Stan Z Li. 2014. Deep metric learning for person re-identification. In ICPR.
[3] Wei Li, Rui Zhao, Tong Xiao, and Xiaogang Wang. 2014. Deepreid: Deep filter pairing neural network for person re-identification. In CVPR.
vote
[4] Rui Zhao, Wanli Ouyang, and Xiaogang Wang. 2013. Person re-identification by salience matching. In ICCV.
[5] Rahul Rama Varior, Mrinal Haloi, and Gang Wang. 2016. Gated siame convolutional neural network architecture for human re-identification. In ECCV.
[6] Ejaz Ahmed, Michael Jones, and Tim K Marks. 2015. An improved deep learning architecture for person re-identification. In CVPR.
[7] Liang Zheng, Yujia Huang, Huchuan Lu, and Yi Yang. 2017. Po Invariant Embedding for Deep Person Re-identication. arXiv:1701.07732.
[8] Dong Seon Cheng, Marco Cristani, Michele Stoppa, Loris Bazzani, and Vittorio Murino. 2011. Custom Pictorial
Structures for Re-identification.. In BMVC.
[9] Liang Zheng, Yi Yang, and Alexander G Hauptmann. 2016. Person Re-identification: Past, Prent and Future.
arXiv:1610.02984
[10] Hao Liu, Jiashi Feng, Meibin Qi, Jianguo Jiang, and Shuicheng Yan. 2016. End-to-End Comparative Attention Networks for Person Re-identification. arXiv:1606.04404
[11] Zheng Z, Zheng L, Yang Y. A Discriminatively Learned CNN Embedding for Person Re-identification[J]. arXiv preprint arXiv:1611.05666, 2016.
[12] Mengyue Geng, Yaowei Wang, Tao Xiang, and Yonghong Tian. 2016. Deep Transfer Learning for Person Re-identification. arXiv:1603.06765
[13] Shengyong Ding, Liang Lin, Guangrun Wang, and Hongyang Chao. 2015. Deep feature learning with relative distance comparison for person re-identification. Pattern Recognition 48, 10 (2015), 2993–3003.
[14] Alexander Hermans, Lucas Beyer, and Bastian Leibe. 2017. In Defen of the Triplet Loss for Person Re-Identification. arXiv:1703.07737
[15] Yutian Lin, Liang Zheng, Zhedong Zheng, Yu Wu, and Yi Yang. 2017. Improving Person Re-identification by Attribute and Identity Learning. arXiv:1703.07220
[16] Tong Xiao, Hongsheng Li, Wanli Ouyang, and Xiaogang Wang. 2016. Learning deep feature reprentations with domain guided dropout for person reidentification. In CVPR.
[17] Zhedong Zheng, Liang Zheng, and Yi Yang. 2017. Unlabeled Samples Generated by GAN Impr
ove the Person Re-identification Baline in vitro. arXiv:1701.07717
注：3.2-3.7的参考⽂章地址：
4 资料整理
4.1⾏⼈重识别常⽤ Large-scale 数据集
DukeMTMC-reID （于杜克⼤学 秋冬季拍摄 主要为⽼外）
下载地址：
圣诞节来源
该数据集在内采集，图像来⾃8个不同摄像头。该数据集提供训练集和测试集。 训练集包含16,522张图像，测试集包含 17,661 张图像。训练数据中⼀共有702⼈，平均每类（每个⼈）有23.5 张训练数据。是⽬前最⼤的⾏⼈重识别数据集，并且提供了⾏⼈属性（性别/长短袖/是否背包等）的标注。DukeMTMC-reID 为 DukeMTMC数据集的⾏⼈重识别⼦集。原始数据集地址
(vision.cs.duke.edu/DukeMTMC/) ，为⾏⼈跟踪数据集。原始数据集包含了85分钟的⾼分辨率视频，采集⾃8个不同的摄像头。并且提供了⼈⼯标注的bounding box.
数据解释： 我们从视频中每120帧采样⼀张图像，得到了 36,411张图像。⼀共有1,404个⼈出现在⼤于两个摄像头下，有408个⼈只出现在⼀个摄像头下。所以我们随机采样了 702（是两个摄像头下⼈数的⼀半） 个⼈作为训练集，702个⼈作为测试集。在测试集中，我们采样了每个ID的每个摄像头下的⼀张照⽚作为 查询图像（query）。剩下的图像加⼊测试的 搜索库（gallery），并且将之前的 408⼈作为⼲扰项，也加到 gallery中。最终，DukeMTMC-reID 包含了 16,522张训练图⽚（来⾃702个⼈）， 2,228个查询图像（来⾃另外的702个⼈），以及 17,661 张图像的搜索库（gallery）。并提供切割后的图像供下载。
**图像命名规则为**
"0005_c2_f0046985.jpg", "0005" 代表⾏⼈的⾝份. "c2"代表这张图像来⾃第⼆个摄像头. "f0046985" 代表来⾃摄像头2的 第46985帧.另外，DukeMTMC-reID还提供了23种属性数据标注 DukeMTMC-attribute供下载。
Market-1501 (于清华校园 夏天拍摄 主要为清华学⽣）
下载地址： PRW, Mars:
该数据集在校园中采集，图像来⾃6个不同的摄像头，其中有⼀个摄像头为低像素。同时该数据集提供训练集和测试集。 训练集包含
12,936张图像，测试集包含19,732 张图像。图像由检测器⾃动检测并切割，包含⼀些检测误差（接近实际使⽤情况）。训练数据中⼀共有751⼈，测试集中有750⼈。所以在训练集中，平均每类（每个⼈）有17.2张训练数据。
CUHK03 （于⾹港中⽂⼤学拍摄 集中于地铁站 光线稍暗）
下载地址： CUHK01, 02, 03:
该数据集在内采集，图像来⾃2个不同摄像头。该数据集提供 机器检测和⼿⼯检测两个数据集。 其中检测数据集包含⼀些检测误差，更接近实际情况。平均每个⼈有9.6张训练数据。
4.2 ⾏⼈重识别需要看哪些论⽂？
关于⾏⼈重识别综述，推荐⼀下liang zheng 2016年的综述: 写了从传统⽅法到深度学习，从图⽚到视频的⾏⼈重识别的⽅法。
正式接收的论⽂名单
Oral：
表语形容词>多啦a梦全集
1. Group Consistent Similarity Learning via Deep CRFs for Person Re-Identification Dapeng Chen, CUHK; Dan Xu, ;
Hongsheng Li, ; Nicu Sebe, University of Trento, Italy; Xiaogang Wang, Chine University of Hong Kong
Spotlight：
1. Person Transfer GAN to Bridge Domain Gap for Person Re-Identification， Longhui Wei, Peking University; Shiliangcager
红小胖snoopy
Zhang, Peking University; Wen Gao, ; Qi Tian
2. Dintangled Person Image Generation，Liqian Ma, KU Leuven; Qianru Sun, MPI for Informatics; Stamatios Georgoulis,
KU Leuven; Mario Fritz, MPI, Saarbrucken, Germany; Bernt Schiele, MPI Informatics Germany; Luc Van Gool, KU Leuven 3. Unsupervid Person Image Synthesis in Arbitrary Pos, Albert Pumarola, IRI (CSIC-UPC); Antonio Agudo, IRI (CSIC-
UPC); Alberto Sanfeliu, IRI (CSIC-UPC); Francesc Moreno-Noguer, Institut de Robotica i Informatica Industrial
(UPC/CSIC)
4. Good Appearance Features for Multi-Target Multi-Camera Tracking, Ergys Ristani, Duke University; Carlo Tomasi, Duke
University
Poster：
1. Diversity Regularized Spatiotemporal Attention for Video-bad Person Re-identification， Shuang Li, The Chine
University of HK; Slawomir Bak, Disney Rearch; Peter Carr, Disney Rearch
2. A Po-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking，M. Saquib
Sarfraz, KIT; Arne Schumann, KIT; Andreas Eberle, KIT; Rainer Stiefelhagen, Karlsruhe Institute of Technology
3. Image-Image Domain Adaptation with Prerved Self-Similarity and Domain-Dissimilarity for Person Re-identification，
Weijian Deng, University of Chine Academy; Liang Zheng, University of Texas at San Ant; GUOLIANG KANG, UTS; Yi Yang, ; Qixiang Ye, ; Jianbin Jiao,
4. Human Semantic Parsing for Person Re-identification, Mahdi Kalayeh, UCF; Emrah Basaran, ; Mubarak Shah, UCF
5. Video Person Re-identification with Competitive Snippet-similarity Aggregation and Co-attentive Snippet Embedding
Dapeng Chen, CUHK; Hongsheng Li, ; Tong Xiao, The Chine University of HK; Shuai Yi, The Chine University of Hong Kong; Xiaogang Wang, Chine University of Hong Kong
6. Mask-guided Contrastive Attention Model for Person Re-Identification, Chunfeng Song, CASIA; Yan Huang, ; Wanli
Ouyang, ; Liang Wang, unknown
7. Person Re-identification with Cascaded Pairwi Convolutions, Yicheng Wang, ; Zhenzhong Chen, Wuhan University;
Feng Wu, ; Gang Wang,
easyjet8. Multi-Level Factorisation Net for Person Re-Identification, Xiaobin Chang, Queen Mary Univ. of London; Timothy
Hospedales, University of Edinburgh; Tao Xiang, Queen Mary University of London
9. Attention-aware Compositional Network for Person Re-Identification, Jing Xu, SenNets Technology Limited; Rui
Zhao, SenNets Technology Limited; Feng Zhu, SenNets Technology Limited; Huaming Wang, SenNets
Technology Limited; Wanli Ouyang, The University of Sydney
10. Deep Group-shuffling Random Walk for Person Re-identification, Yantao Shen, CUHK; Hongsheng Li, ; Tong Xiao, The
Chine University of HK; Shuai Yi, The Chine University of Hong Kong; Dapeng Chen, CUHK; Xiaogang Wang, Chine University of Hong Kong
11. Transferable Joint Attribute-Identity Deep Learning for Unsupervid Person Re-Identification, Jingya Wang, QMUL;
Xiatian Zhu, Vision Semantics Ltd.; Shaogang Gong, Queen Mary University; Wei Li, Queen Mary University of Lond 12. Harmonious Attention Network for Person Re-Identification，Wei Li, Queen Mary University of Lond; Xiatian Zhu,
Vision Semantics Ltd.; Shaogang Gong, Queen Mary University
13. Efficient and Deep Person Re-Identification using Multi-Level Similarity，Yiluan Guo, SUTD; Ngai-Man Cheung,
14. Po Transferrable Person Re-Identification，Jinxian Liu, Shanghai Jiao Tong University; Yichao Yan, Shanghai Jiao
