关于Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification 论文理解

论文连接https://arxiv.org/abs/1904.01990

代码：https://github.com/zhunzhong07/ECN

目录

1.文章卖点：

2.研究背景

3.研究方法

3.1总体叙述

3.2 网络框架及损失函数

---

1.文章卖点：

1.引入了存储器的概念，比较新颖

2.将监督学习和无监督学习相结合

2.研究背景

行人再识别面临的三个特殊问题：

1）源域数据和目标域数据集类别不同

2）相机风格变化导致的图片差异不同

3）仅考虑源域和目标域之间的整体域间的差异，忽略了目标域的域内变化。

传统方法的核心在于降低源域与目标域之间的特征分布差异。然而，在这一过程中所进行的研究往往未能充分考虑到目标域内部的变化情况（包括影响测试性能的关键因素）。

最初的两个研究问题，在作者过去的文献综述和研究工作中已经得到了深入阐述。该链接提供了相关文献的具体参考：https://link.springer.com/chapter/10.1007%2F978-3-030-01261-8_11

3.研究方法

3.1总体叙述

本文重点攻克了第三个关键问题，并对目标域的域内变化进行了深入探讨。通过保持不变性特性，提出了适应不同领域数据的泛化模型。同时设计了一个记忆机制来存储和管理训练过程中产生的关键特征向量。

作者将其概括为三种核心的不变性类别 ，即：样本不变性和相机不变性和邻域不变性。

其主要功能体现在两个方面：首先，在模型训练的过程中完成对所有目标图像特征信息的记忆存储工作；其次，在计算过程中能够迅速计算出目标域中局部样本与源域全局样本之间的相似性，并在此基础上实现三个关键限制条件的有效引入。这些设计特性对于提升模型对不同领域适应性的性能具有重要意义。

这个结构是非常好的。

本文主要研究了域内变化和三个不变性。

其中域内变化针对的是目标域；（目标域和源域的类完全不同）

三个不变性：在样本不变性的框架下，在保证每个个体与自身趋近的同时，在远离群体内其他成员的前提下进行操作以实现对未标记目标数据的一致性和关联度的学习

相机不变性：不同相机风格可能导致人物外表的变化；然而通过这种转换生成的照片仍属于同一身份。考虑到这一情况，在假设人物图像与其经过不同相机风格转换后的图像应较为接近时，则需强制执行这种不变性。

领域一致性：假设在源领域与目标领域上均进行了预训练的re-id模型已得到提供，在目标领域中的目标样本与其相关区域可能存在相同的ID号。考虑到这一点，在确保样本与其可靠的区域彼此接近的基础上实施领域一致性。

这三个不变性主要是靠三个损失函数来解决的。

3.2 网络框架及损失函数

网络分为两大系统, 其中蓝色部分代表带有标记的目标数据库, 主要用于监督学习过程, 其核心方法是通过softmax函数计算分类误差;而红色部分则代表无标记的目标数据库, 这是无监督学习的关键环节, 它包含三个不同的不变性作为评估标准。采用记忆模块（Memory）负责存储功能, 即可将每个目标实例均被记录FC-4096层当前最新的激活特征;随后通过评估批次中的目标实例与其记忆库中所有实例之间的相似度, 即可获得目标域上的不变性学习损失。最后将两系统的损失进行加权求和, 实现两部分系统的同步训练过程

Baseline:

作者基于ImageNet进行了ResNet-50模型的预训练工作，并将其池化操作后的第41个神经元层级设为基础模块。随后，在池化操作后的第41个神经元之后依次接入了一个4096维的全连接层（FC）。该全连接层被命名为Fc-4096，并紧接着依次接入批量标准化、激活函数Relu以及Dropout机制。

第一条支路我们使用的是交叉熵损失用于优化网络：

它的目标是从指定类别的一组图片中生成具有ID敏感度的图像嵌入特征，并将其视为分类问题来处理以提高识别效果。

样本记忆模块主要是在反向传播是利用

更新样本存储器的密钥特征。

样本不变性：

将样本Nt的目标图像分别归入Nt个不同的类别；随后将这些图像分配到各自的类别中。对于每个目标图像Xt,i ，我们首先评估其特征与Memory存储器中各特征向量之间的余弦相似度；接着应用softmax函数来确定xt,i属于各类别的概率预测值。

对应的损失函数为：

相机不变性：

相机不变性这一概念的核心在于：无论采用何种相机拍摄同一场景照片时，在图像处理网络中都应具备识别能力。基于此理念，在实际应用中可采取的方法是：利用GAN技术将一张图片生成多张不同风格的照片。

星域生成网络（CycleGAN仅限于两个领域的双向映射功能与星域生成网络相比，则具备多源数据融合的能力 ）被作者采用。

作者选择了目标域中的图片，在这一过程中需要考虑多个因素。首先，在目标域中共有C个相机可供使用；其次，在对每个图像进行处理时需要考虑到它们各自的特点并进行相应的分类；其中一张图像与自身相机拍摄的风格一致。此外，在模型训练过程中还需要定义一个对应的损失函数来指导图像生成的质量。

邻域不变性：

每个目标图像下，在目标数据集中可能存在大量正样本。如果能在模型训练过程中有效利用这些正样本，则有助于提升模型对克服目标域变换鲁棒性的能力。为了达到这一目的，在每一轮迭代中首先计算输入特征f(Xt,i)与存储于密钥存储器k中的特征之间的余弦相似度；随后，在密钥存储器k中确定该输入对应的K近邻区域；并将其对应的所有邻居节点索引集定义为M(Xt,i,k)。在此过程中假设该图像Xt,i属于该区域M(Xt,i,k)的情况下，则将该区域的不变性赋予网络结构。

其概率权重：

领域不变性的目标被表述为软标签损失：

总体失去不变性：

考虑到样本不变性、相机不变性和邻域比变性的综合考量，在目标训练图像的不变性学习中所得到的总损失可以表示为：

通过结合源域和目标域的损失，网络的最终损失表示为：

实验部分才用了消融实验的方法对文章提出的方法进行测试。