旷视研究院行人重识别(ReID)算法解读——Learning Relation and Topology for Occluded Person Re-Identification
数据与代码链接见文末
详细解析代码网络流程：该文详细阐述了基于拓扑图的行人重识别实战项目，具体涉及"Learning Relation and Topology for Occluded Person Re-Identification"技术原理与实现方法。文章链接：[基于拓扑图的行人重识别项目实战——Learning Relation and Topology for Occluded Person Re-Identification-博客](
这项研究主要解决行人重识别的遮挡问题， 提出了一个三阶段的模型：
关键点局部特征的提取；这本质上是提供了关键信息。首先，可以通过姿态估计等方法获取人体的关键点信息，随后利用关键点的特征进行匹配。
图卷积网络的应用在关键点特征融合方面表现突出；人在运动过程中，关键点的变化往往具有关联性，例如头部关键点与腿部关键点的变化呈现出显著差异性。因此，我们可以将关键点进行分组处理，而图卷积网络正是处理这种非结构化数据的理想选择。
- 采用图匹配算法来计算相似度并训练模型。在遮挡的情况下，关键点之间的匹配通常会遇到较多的困难。例如，同一人物在不同图片中的遮挡部位可能各不相同，显然，在遮挡部位的关键点无法实现有效的匹配。因此，该研究提出了一种基于图匹配的方法来解决这一问题，从而，我们能够通过一个矩阵来控制关键点的匹配，特别地，针对遮挡部位的关键点。
整体思路相当可以！可以尝试在各种跟验证相关的任务中套用（人脸验证）
可以概括为按照三个阶段依次完成特征提取任务，其中，首要任务是聚焦于处理遮蔽现象的局部特征。
在第一阶段，我们首先利用一个预训练的CNN Backbone网络提取出特征图。接着，我们采用一个经过训练的姿态估计算法，生成各个关键点的热力图。这些热力图是以关键点为中心的概率分布图。将这些热力图与特征图进行乘法操作，从而提取出各个关键点的局部特征。随后，通过对所有局部特征进行平均池化操作，最终获得全局特征。为了进一步优化第一阶段的局部特征和全局特征，我们引入了多个损失函数。
第一阶段获得的关键点并非孤立存在，而是具有特定的关联性。因此，在第二阶段中，我们结合关键点间的关联信息（先验知识），通过图卷积网络更新关键点间的关联关系及其特征表示。同时，通过局部到全局特征差异的提取，进一步学习构建邻接矩阵A。 有了A后，可以开始构建图卷积网络，利用其结构信息指导各关键点特征的融合过程。最终将融合后的特征与输入的局部特征进行整合，完成特征的全局表达。
如图所示，左侧为普通卷积层，普通卷积层通过卷积核在输入图像上滑动来提取特征。右侧为图卷积层，图卷积层能够动态调整网络拓扑结构以适应不同遮挡情况。例如，在遮挡现象中，每个人遮挡的部位可能不同，这就需要图卷积层能够动态调整网络拓扑结构以适应不同遮挡情况。
具体实现方式：
在第一个阶段，我们获得了关键点的局部特征以及整体的人全局特征。两者的差异越大，关键点就越容易成为离群点，可能被遮挡。基于此，我们可以利用特征差异来构建邻接矩阵。
首先，通过提取全局特征与局部特征的差异特征，完成特征的差异化提取。接着，基于差异化的特征信息，推导出关键点之间的邻接关系矩阵。随后，通过邻接矩阵与局部特征向量的乘积，获得各关键点间的关联特征。在此基础上，将关联特征与局部特征进行融合，得到综合考虑了关系影响的融合特征向量。最后，将融合后的特征向量与全局特征信息进行组合，最终输出结果。
第三阶段仍聚焦于行人重识别的匹配问题，但采用了图匹配方法，这主要归因于其他行人重识别的距离匹配方法存在哪些不足。具体而言，其他行人重识别的距离匹配方法可能会引入遮挡区域的特征，从而导致对目标物体特征的误判。图匹配通过构建一个相似度矩阵，并结合相似度匹配机制，能够有效地去除遮挡区域的特征，同时在匹配流程中，我们还构建了正样本对(AP)和负样本对(AN)，并采用三元组损失作为损失函数。此外，在整个训练过程中，我们还引入了一个验证损失函数用于模型优化。
具体做法：
在第二阶段，融合特征e1和e2通过整合关键点之间的关系生成。随后，将生成的融合特征与全局特征进行拼接。具体而言，将两张图片的特征分别经过全连接层（FC layer）进行处理。接着，通过图匹配算法计算得到图相似度矩阵。随后，将计算得到的图相似度矩阵与融合特征e1和e2相乘，得到的结果考虑了两张图片之间的图相似度匹配关系，再与原特征进行拼接。最后，经过全连接层进行预测输出。整个过程主要基于跨模态特征融合的思想。
链接：https://pan.baidu.com/s/1vJxnk5QRb2mHrPdvTc203w?pwd=2ou4
提取码：2ou4