⾏⼈重识别论⽂（⼀）--JointDetectionandIdentificationFe。
。。
⽬录
本⽂的主要贡献
1、主要提出了在对⾏⼈进⾏再识别时与⾏⼈检测相互结合
2、提出了OIM损失函数代替Softmax损失函数（最⼤的贡献）
3、收集了新的⾏⼈检测数据集（没有公开，使⽤没有什么卵⽤）
淡若清风
摘要
现有的⾏⼈再识别⽅法中所使⽤的标准和⽅法主要关注的是经过裁剪的⾏⼈照⽚，这与现实⽣活场景中的图⽚有所不同。本⽂为了缩⼩两者的差距，提出了⼀种⾏⼈搜索的新框架，将⾏⼈检测和⾏⼈再识别结合起来，利⽤单个CNN来进⾏训练。⽂中使⽤了OIM损失（Online Instance Matching）来训练⽹络，它⽐⼀般的Softmax损失函数的效果更快更好。
introduction
⾸先介绍了⾏⼈再识别的应⽤领域以及这个研究⽅向存在的难点，⽐如⼈物的姿态，摄像机的⾓度，光照，像素，背景等，接着介绍了尽管⼈们提出了许多⾏⼈再识别的数据集和⽅法，但是和现实应⽤的场景还是有很⼤的gap在，原因在于许多⽅法⽤到的是⼈⼯裁剪过的图像，⽽在现实中⾸先必须先从⾏⼈所在的某个场景中识别出⾏⼈。⽬前许多paper⾥的⽅法已经假定了⾏⼈是被完美识别出来的。如下图：
本⽂的主要⼯作：
本⽂利⽤单个CNN将两者结合来解决上述问题，该CNN分为两个部分，⼀个是pedestrian proposal net，来产⽣候选⾏⼈的bounding boxes，另⼀个是identification net，来提取特征来进⾏与检索⽬标的⽐较。并且使得两者在 joint optimization过程中具有相互适应，从⽽消除⾃⾝外另⼀⽹络带来的问题。
传统的re-id特征学习主要依赖于pair-wi或triplet distance loss functions（缺点计算量⼤）以及Softmax loss function（缺点随着⾏⼈类型的增多，运⾏时间会变慢甚⾄函数⽆法收敛）。于是本⽂提出 Online Instance Matching损失函数，原理是利⽤来⾃所有labeled identities特征所形成的lookup table与mini-batch样本之间进⾏距离⽐较，另外那些unlabeled identities可以被视为negatives，并且将unlabeled identities的特征存储在循环队列（circular queue）中进⾏⽐较。
Related Work
Person re-identification：早期的⾏⼈重识别使⽤的⽅法包括...... ⼆进制验证损失函数、多数据集整合等⽅法
Pedestrian detection：早期是传统的⽅法，今年来深度学习引⽤于⾏⼈重识别。移动硬盘格式化
Method
⽹络结构：使⽤CNN联合训练the pedestrian detection and personre-identification。给定⼀张检测图⽚，⾸先通过CNN⽹络将像素和转化为特征图。pedestrian proposal net建⽴在这些feature maps之上，从⽽预测候选⾏⼈的bounding boxes。然后bounding boxes 送⼊具有RoI-Pooling的identification net来提取经过L2正则化后的每个box特征（256维）。在推测阶段，利⽤gallery person和⽬标⾏⼈之间的features distances来进⾏排序。在训练阶段，根据排序的前⼏个feature vectors，使⽤OIM loss function来监控identification net以及其他的loss functions以多任务⽅式来训练检测⾏⼈⽹络。
Model Structure
这篇⽂章采⽤ResNet-50作为本⽂的基于CNN模型的⽹络结构。该模型⾸先采⽤ 7 × 7的卷积层作为 conv1。接着是 conv2 x to conv5 x分别包含 3,4,6,3 residual units。采⽤ conv1 to conv4 3 作为 stem部分。给定⼀个输⼊图⽚，输出⼀个1024维的特征图，这个特征图是原图像的⼗六分之⼀。
根据features maps，利⽤512 × 3 × 3的卷积层来对⾏⼈特征进⾏转换，接着在feature map的每个位置利⽤9个anchors（源于Faster RCNN）和Softmax分类器进⾏⾏⼈与否的预测，同时还包括了线性回归来调整anchors的位置。在 non-maximum
向英雄致敬的句子
suppression 过后保留128个调整后的bounding boxes作为最终的proposals。鱼香茄子的正宗做法
梅花的寓意为了在这些proposals⾥找到⽬标⾏⼈，建⽴了identification net来提取特征，并与⽬标⾏⼈作对⽐。⾸先利⽤RoI Pooling层从stem feature map中得到1024 × 14 × 14的区域（对应于每个proposal），接着将它们送⼊ResNet-50的conv4_4⾄conv5_3层，再利⽤global average pooling层将其整合为2048维的特征向量。⼀⽅⾯， pedestrian proposals不可避免的会包含⼀些fal
alarms（也就是proposal⾥包含的不是⾏⼈）和misalignments，利⽤Softmax分类器和线性回归来拒绝⾮⾏⼈区域并完善proposal的位置。另⼀⽅⾯，我们将特征投影到经过L2正则化后的256维向量⼦空间中，（这⾥进⾏低维投影是因为OIM容易过拟合）计算它们和⽬标⾏⼈的余弦相似度。
Online Instance Matching Loss
训练数据集包含L个不同的⽬标任务，
labeled identity：数据集中包含的⾏⼈。（图中蓝⾊标记框）
电热水袋怎么注水unlabeled identities：包含⾏⼈但不在数据集中的⾏⼈。（图中橙⾊标记框）
background clutter：包含⾮⾏⼈物体或者背景的proposal。
⽂中并未选择SGD进⾏优化，⽽选择了online approximation。mini-batch中⼀个labeled identity的特征被记为记为x（x是D维特征向量），保留⼀个 lookup table（LUT）记录所有labeled identity的特征（D×L 维矩阵，L是不同⽬标⾏⼈的个数）。在前向传
播中，计算mini-batch中样本与所有labeled identities之间的的余弦相似度。在后向传播过程中，如果⽬标⾏⼈的分类标签是t，那么就可以利⽤如下公式来更新LUT中的第t列：香的英文
学习状态除了 labeled identities之外，我们利⽤circular queue来保存那些unlabeled identities的特征，⽤U来表⽰（D×Q维矩阵，Q 是queue的⼤⼩），同样也可以计算U与mini-batch样本之间的余弦相似度。每⼀轮迭代过后，将新的特征向量压⼊队列中，并剔除那些过时的。
特征向量x被视为第i类的⾏⼈的概率为：
其中T控制了概率分布的平缓程度。同样的，在 circular queue中，x被视为第i类 unlabeled identity 的概率
OIM最终⽬标是使得期望似然函数最⼤化：
L对x的梯度可以表⽰为：
可以看出OIM损失有效的区分了 mini-batch与 labeled and unlabeled identities。使得与⽬标⼈物相似的尽量靠近，不相似的尽量远离。
Why not Softmax loss?
⼤规模⾏⼈搜索数据集⾥的⾏⼈类别太多，并且每个⼈对应的实例较少。同时需要学习的判别函数过多，⽽每次SGD中的positive samples⼜太少，因此分类矩阵的梯度变化很⼤。其次，Softmax⽆法利⽤unlabeled identities，因为在Softmax中它们没有明确的类别标识。
OIM与Softmax主要的区别在于OIM损失是⾮参数化的，LUT和circular queue被认为是外部记忆单元，⽽⾮⽹络的参数。但OIM容易过拟合，所以⽂中将特征映射到经过L2正则化之后的低维⼦空间中。
当⾏⼈种类增加时，前⾯的计算公式会⽐较费时，因此采⽤了对labeled和unlabeled identities进⾏⼆次采样的⽅法。Datat
Experiments
没有数据集⽆法复现没有研究数据集和实验的必要。
