Relation Network for Person Re-identification笔记

论文题目 ：Relation Network for Person Re-identification
来源：AAAI 2020
论文地址 ：https://arxiv.org/pdf/1911.09318v1.pdf
代码 ：https://github.com/cvlab-yonsei/RRID
**动机 ：**直接使用行人的部分层次特征，而不考虑身体各部位之间的关系，就容易把两张在对应部位具有相似特征的不同行人图片混淆。作者为了解决这个问题，提出了一种新的关系网络，该网络加入了身体局部特征和剩余其他部位特征之间的关系。
**解决思路 ：**在行人的高度上进行分割，提取行人图片不同部位的特征，也叫局部特征，将每个单独的局部特征和剩余的局部特征相关联，得到新的具有全局联系的局部特征，使得模型更加具有特征鉴别能力。
具体方法：
下图为作者使用的框架概览：在下图中，我们可以看出，行人的输入图像先经过一个resnet-50骨干网络，提取出特征图[H,W,C]（分别表示高度，宽度，通道数）。为了提取局部特征，作者将特征图平分为6个水平的网格，经过最大池化得到6个局部特征图[1,1,c]。然后将得到的6个局部特征分别送入两个模块中。往下走的Global contrastive pooling(GCP)模块用来提取全局特征，往右走的One-vs-rest relational module为了提取新的局部特征。最后再将得到的新的6个局部特征和1个全局特征融合，送入网络训练。

接下来分别介绍GCP模块和One-vs-rest relational module。
1、 GCP

本文通过图1展示了GCP结构的过程。首先对之前的6个局部特征分别应用最大值池化和平均值池化操作，分别获得核心特征Pmax和平均特征Pavg。需要注意的是，在这里的核心特征Pmax过于强调了主体部分而忽略了其他边缘信息；而平均特征则可能引入不必要的噪声信息。（这种设计上的矛盾正是本论文要解决的核心问题）针对此问题提出了一种解决方案：作者在此对特征向量之间做了一个减法运算，并定义了差异性池化（contrastive pooling）的概念：即用Pavg-Pmax=Pcont。（这种方法能够揭示局部之间的相互关系）为了直观展示不同池化方法的效果，在图2中进行了对比实验：(a)表示仅使用平均池化的结果；(b)表示仅使用最大值池化的结果；(c)是在(a)+(b)的基础上叠加的结果；(d)则是(b)-(a)，即差异性池化（Green框出的是目标区域）。实验结果表明：这种差异性池化的提取效果显著地去除了背景干扰并增强了目标区域的信息表现能力（这也是论文作者实验数据所验证的关键结论）。

基于对比特征P_{\text{cont}}展开后, 通过一次卷积运算获得中间特征\overline{P}_{\text{cont}}. 最大值特征\overline{P}_{\text{max}}同样通过一次卷积运算获得. 将两个中间特征进行融合后再经过一次卷积运算实现降维（从2c压缩至c）. 通过引入带有压缩机制的快捷连接（受ResNet思想启发）, 最终生成目标特征求得.

2、one-vs-rest relation module

如上图所示，在处理特征时分为若干步骤（以P1为例）：首先通过卷积层处理后得到p̄₁；接着将剩余的特征P₂至P₆求和生成r₁；随后对r₁应用卷积操作以生成̄r₁；将融合̄r₁与p̄₁后使通道数量增至两倍（2C）。随后对结果应用卷积并加上p̄₁（类似于ResNet的思想），得到新的局部关系向量P¹；最后对其他各组特征同样执行上述步骤一至三的操作。

这篇论文的核心观点是将局部信息与整体信息相结合，并引入它们之间的关联关系（即本研究提出的Relation Network），以筛选出更具鉴别力的局部位置特性和全局特性特征向量。实验结果显示该方法达到了与现有最优算法相当的一致结果；在此前的研究中主要致力于提取局部位置特性和全局特异性特征向量等技术手段已逐渐被引入到相关领域中去，并且这种研究思路正逐渐成为一种发展趋势