论文阅读之 Person Re-identification using Heterogeneous Local Graph Attention Networks
Heterogeneous Local Graph Attention Networks
-
1. 摘要
-
2. 主要贡献
-
3. 提出的模型
-
- 3.1 关系的定义
- 3.2 模型结构
-
4.实验
-
- 4.1 消融实验
- 4.2 参数分析
- 4.3 State-of-the-Art 的实验结果
-
参考文献
文章题目为基于异构局部图注意网络的再识别，提出了HLGAT，在一个统一的人Re-ID框架中建模局部间关系和局部内关系。将图卷积网络与注意力机制相结合，实现对行人重识别问题的研究。
1. 摘要
现状：最近，一些研究者通过研究 行人图片各部分的局部关系来研究行人重识别。
然而，现在的研究仅研究了单张行人图片中的各部分的内在局部关系 ，而忽略了不同图片各部分相互对应的局部关系 。这是不完整的局部关系信息。
解决办法： 提出了 异构局部图注意网络 (HLGAT) 。在完整的局部图中，同时建模图片内部各部分的局部关系（局部内关系） 和 图片间相互对应各部分的局部关系（局部间关系）。
具体实现： 使用局部特征构建完整的局部图，在学习局部内关系 和 局部间关系 的过程中，使用注意力机制 来突出不同局部特征的重要程度。为了更精确地描述 局部间关系 ，提出 注意力正则化损失 来限制局部特征的权重。对于局部内关系 ，考虑到结构信息，提出向注意力权重中加入上下文信息 。
解决效果： 在Market-1501、CUHK03、DukeMTMC-reID和MSMT17上的大量实验表明，提出的HLGAT方法是最先进的方法。
2. 主要贡献
- 提出了HLGAT ，在一个统一的 Re-ID 框架 中建模局部间关系和局部内关系。
- 具体地说，将局部特征作为节点来构建完整的局部图，在此图中同时从不同行人图像中学习到相应和相邻部分 之间的局部关系，以及从同一行人图像中学习到不同部分之间 的局部关系。
- 为了准确地建模局部关系，我们提出了注意正则化损失 来约束局部间关系的注意权值，并提出在局部内关系的注意权值中注入上下文信息 。
- 在四个公开可用的person Re-ID数据集上的实验结果证明，所提出的HLGAT方法以压倒性的优势超越 了目前最先进的方法。
3. 提出的模型
3.1 关系的定义
局部内关系：同一张行人图片中，各部分间的关系，如虚线所示
局部间关系： 不同行人图片中，相应部分间的关系 和 相邻部分间的关系，如实线所示
下面举个具体例子分析下：
以绿色三角为研究对象，其他绿色的图形都是局部内关系，之间用虚线连接，用 Nsi 表示 。
绿色三角和黄色三角是相应部分间关系，用 Nsp 表示。
绿色三角和黄色圆以及黄色正方形是相邻部分间关系，用 Nap 表示。
3.2 模型结构
主要包括三个部分：特征提取器，图注意力子网，嵌入子网。
- 特征提取器：使用 CNN 将行人图片变为特征图，调整分割策略将特征图分为几个水平的栅格，用全局池化的操作提取局部特征。
- 图注意力子网：将局部特征作为节点 来构造完成的局部图，同时学习局部间关系 和局部内关系 。这些节点由局部间边和局部内边连接。对于图中的每个节点，我们用注意权值对其所有邻居节点进行加权，然后对它们进行聚合，得到两种关系。同时，利用注意正则化损失 约束局部间边缘的注意权值，以准确描述局部间关系，并在局部间边缘中加入上下文信息 。
- 嵌入子网：使用全连接网络减少图注意力子网提取出特征的维度，并将减少维度后的特征作为预测输出。
4.实验
在 4 个大规模行人重识别数据集 Market-1501 [50], CUHK03 [20], DukeMTMC-reID [28]
and MSMT17 [38] 上进行了实验。
4.1 消融实验
对 局部间关系(记NSP和NAP)、注意正则化损失(记Lar)和局部内关系(记NSI) 等组件进行了消融实验。消融结果如下图所示：
分别从HLGAT中去除局部间关系(记为NSP和NAP)、注意正则化损失(记为Lar)和局部内关系(记为NSI)完成消融实验。
- 通过从不同行人图像的对应部分聚合局部特征来考虑局部间关系NSP。
- 通过整合不同行人图像相邻部分的局部信息，进一步考虑局部间关系NAP。
- 通过除去注意正规化损失Lar，完成消融实验。
- 通过去除局部内关系NSI，完成消融实验。
- 通过验证上下文信息的有效性NSI*，完成消融实验。
4.2 参数分析
对关键超参数：均匀水平网格数P、调节系数K的影响、平衡系数λ的影响，进行了分析。
均匀水平网格数P（P = 8 最优，mAP 和 Rank-1）
调节系数K的影响（ KSP = 1 和 KAP = 0.1最优）
对于局部间关系，当节点属于邻居节点集NSP时用KSP表示，当节点属于邻居节点集NAP时用KAP表示。
对于局部内关系，调节系数s可以控制调节系数K，s = 10 时结果最优。
平衡系数λ控制交叉熵损失和注意正则化损失的重要性，λ 为 0.01 时最优。
4.3 State-of-the-Art 的实验结果
在4个数据集上，将 HLGAT与最先进的方法进行了比较。比较结果验证了 HLGAT 方法的优越性。
