Relation-Aware Global Attention for Person Re-identification阅读笔记
论文题目 ：Relation-Aware Global Attention for Person Re-identification
作者 ：Zhizheng Zhang， Cuiling Lan，Wenjun Zeng，Xin Jin，Zhibo Chen
来源 ：CVPR 2020
文章链接：https://arxiv.org/pdf/1904.02998v1.pdf
代码链接：https://github.com/microsoft/Relation-Aware-Global-Attention-Networks
动机 ：在行人重识别研究中，注意力机制可以强化区分特征，抑制无关特征。
以前的方法通常使用局部卷积来学习注意力，忽略了从全局结构模式中挖掘知识。作者为了使网络更好的进行attention学习,提出了Relation-Aware Global Attention (RGA) module。
解决方法 ：
1、作者通过设计attention,让网络提取更具有区别度的特征信息。简单来说，就是给行人不同部位的特征加上一个权重，从而达到对区分特征的增强，无关特征的抑制。
2、作者在这篇论文中提出了一个Relation-Aware Global Attention (RGA) 模型挖掘全局结构相关信息，使得attention集中在有区分度的人体部位，并且考虑到每个特征节点和全局特征之间的关系。用来模拟人的视觉系统，对不同的特征付出不同的注意力。
3、对于每一个代表空间位置的特征向量节点，取所有节点之间的成对关系，加上当前节点来表征全局结构信息。对于一个特征集合V = {xi ∈ R d , i = 1, · · · , N}，有N个相关特征，通过学习一个表示的mask矩阵，用a=(a1, · · · , aN )表示，用来衡量每个特征的重要程度，通过attention更新的特征为zi = ai*xi，主要任务就是学习ai的值。
方法亮点 ：
如下图所示，在作者之前的attention学习中，有两种普遍的学习方法，分别为下图中的a和b。a1, · · · , a5 对应于五个特征向量 x1, · · · , x5的attention值。
a) 使用卷积神经网络，对每一个特征x,学习一个attention值，因此只能学习到局部特征，而忽视了全局特征。
b) 使用全连接网络，学习到的attention值来自于所有特征向量的连接，虽然学习到了全局特征，但参数量过大，计算量太大。
c) 通过考虑全局的相关信息学习attention值，即对每一个特征向量，全局的关联信息用一个关系对ri = [ri,1, · · · , ri,5, r1,i, · · · , r5,i]表示，其中ri,1表示第i个特征节点和第一个特征节点的关系，以此类推。用一个符号ri&j = [ri,j , rj,i]表示,所有的ri&j组合可以得到x1一个关联特征，组合在一起得到下图中的特征向量r1，再和原始特征向量x1拼接，得到一个relation-aware feature y1, y1 = [x1, r1 ],作为提取attention的特征向量。因此可以看出，基于特征x1得到的attention值a1既包含了局部特征x1,又包含了全局所有特征之间的关系。
作者设计了两个特征提取模块，如下图所示：
在上图所示的情况下，在空间域中使用了RGA-S机制，在通道域中采用了RGA-C机制。
该系统接收一个输入的三维特征向量[C,H,W]，在特定图层中可具体表现为[C,3,3]的形式。该向量依次接收并转换为两个独立的卷积层c1和c2处理后分别生成新的特征表示：经过c1处理后得到[9,C]维特征码；经过c2处理则生成[C,9]维特征码；将这两个结果进行矩阵相乘操作后得到一个[9×9]的矩阵（记作关系矩阵），此关系矩阵能够反映各向量间相互关联的关系特性。其中，在图中用黄色块RS(:,6)标记出的是各向量与第六个特定特征点之间的关系信息；而用紫色块RS(6,:)标记出的是第6个特征点与其他所有特征点之间的相互关系信息。为了提取更加丰富的语义关联信息，在后续处理中我们构建了两个独立的关系特徵矩阵：一个是I→J方向的关系矩阵（记作R），另一个是J→I方向的关系矩阵（记作S）。原始输入信号在经历一系列的空间聚合操作后会降低通道维度直至仅剩空间信息（即通道数压缩至1），最终得到一个[1×H×W]的空间聚合结果图（AG）。随后将三个关键的空间聚合结果图沿通道维度连接融合，并通过深度压缩机制将其缩减至标准空间分辨率下的统一表示形式。
与a类似，在对各通道执行卷积运算及 reshape 处理后计算各通道对应的权重系数，并以此评估各个特征图的重要性。
主要结果：
- 从全局视角分析每个特征节点的关注特性，并利用学习函数推导出attention关系以进行语义分析。将各特征节点间的关系通过叠加构建一个紧凑向量来表征，从而推导出相应的权重参数。
- 提出了基于关系建模的高效网络结构，并将其成功应用于空间域特征提取以及通道信息处理两大模块中。
