[行人重识别论文阅读]Fine-Grained Shape-Appearance Mutual Learning for Cloth-Changing Person Re-Identification

论文地址：https://openaccess.thecvf.com/content/CVPR2021/papers/Hong_Fine-Grained_Shape-Appearance_Mutual_Learning_for_Cloth-Changing_Person_Re-Identification_CVPR_2021_paper.pdf
论文代码：该论文的代码暂无提供

文章思想

在上一篇文章中提出了一种基于（行人轮廓图）的思想来解决换装问题。然而，在实际应用过程中发现（sketch技术）的优势与不足对最终实验效果产生了显著影响。本论文的核心目标则在于提升（行人轮廓图）的质量。

利用行人标签提高轮廓图质量

这一想法相当简单：即若该行人轮廓图能够准确地预测出行人的标签，则其行人轮廓图的质量将表现得非常出色。

该公式阐述了提取行人轮廓的方法：通过使用以下公式获取行人掩码：I表示输入图像；Θm代表网络参数；Fm是语义解析网络；这样计算得到的结果就是行人的掩码M

之后将得到M投入到Fs中得到轮廓特征, Θs为Fs的参数

虽然这种方法很好但是会出现一个问题：

如上图（c）所示，在引入了除轮廓之外的其他细节后, 尽管这些细节可能会提升模型对人群的预测精度, 但我们只是想要行人的轮廓. 因此我们需要对其进行额外处理:

M^ 实际上是从初始预训练而来。未曾接受过上述损失函数的专门优化与调整。尽管未经过上述损失函数的系统性优化，在细节刻画和完整性上略显不足。然而这些缺陷并不会影响到其对边缘区域的独特识别能力。

因此我们需要提升Fm网络的性能，在如上所示的公式（4）中，在使M与其估计值之间的距离减小的同时，并使损失函数较小的情况下。

姿势与行人轮廓

采用上述方法后我们成功获得了具有高质量的行人轮廓然而即使这个轮廓再完美无缺同一个体在不同姿态下的形状特征必然存在差异因此为了更好地利用形状特征图像我们需要消除姿态对于形状特征图像的影响

解决方法：同一个姿势的轮廓图用一个网络处理

基于图中的信息, 我们随后提取了人体的关键点坐标. 通过聚类算法将图像划分为三个类别. 基于聚类分析结果, 在每个轮廓图中添加了人工标签.

引入了伪标签后，在进行特征提取的过程中，请注意以下内容：我们的系统中包含四个独立的模块：Block1至Block4。其中，在处理Block4时，请确保同一姿势的轮廓图则由同一模块负责处理。针对这三种不同的姿态类别中，请记住我们需要将这三个模块分别用于这三种不同的姿态类别中

经过综合分析后得出的结果表明

这样获得的特征向量是一个不受姿态影响的高精度人体姿态特征图

得到外观特征

上述我们计算得到的特征本质上是行人的形状特征。旨在提高最终识别行人准确率的过程中，在提取头肩部等关键部位的描述信息的基础上增加了对行人外观特性的学习。

下图红框部分即是我们求外观特征的网络

这部分相对来说并不复杂。主要是通过四个模块连续地提取特征并结合身份识别损失以及三元组关系损失进行计算。从而能够有效去除与衣物无关的信息。基于换衣数据集的特点，在这一过程中我们持续地降低了模型对衣物相关信息的依赖性。

外观特征与形状特征的融合学习

为了解决如何融合两种特征的问题，并提出了一种基于交互式密集学习的方法

而对于这个共同学习我们提供了两种方式：

相似度矩阵的共同学习

损失函数：

公式中 S_{ia} 代表 形状分支所对应的相似度矩阵；公式中 S_{js} 代表 外观分支所对应的相似度矩阵。

我们的损失函数旨在通过使两个矩阵更加接近来综合考量同一个人的形状特性和外观特性。即这种设计旨在综合考量同一个人的各项形态特性和整体外貌特征。由于这两者的相似度较高，则判断的对象很可能属于同一人

概率分布的学习

在之前的讨论中提到过利用标签来判断趋于一致的方法确实非常有效。为此我们采用这种方法考察两种特征的概率分布之间的相似程度

下述的计算方式我们称为相对熵

其基本概念 ：
它衡量两个概率分布在其共同定义的事件空间中的差异程度。从信息论的角度来看，在相同事件空间中使用概率分布Q(x)对事件P(x)进行编码时，所需的平均编码长度增加了多少比特。通常用D(P||Q)来表示Kullback-Leibler散度（KL散度），其计算公式如下：

D(P||Q) = \sum_x P(x)\log\left(\frac{P(x)}{Q(x)}\right)

那么我们的目标就是让两者的概率分布趋近于一致（即ps与pa之间趋于一致）。如下公式除了基于（10）中ps与pa的关系外，我们又提出了pa相对于ps的关系。这样我们发现两者的概率分布趋近于一致时，其损失函数就会趋近于零点。

我们将两个损失函数共同运用起来就完成了我们共同学习的过程

博客参考

https://zhuanlan.zhihu.com/p/393732836