2019 CVPR之ReID：Invariance Matters： Exemplar Memory for Domain Adaptive Person Re-Identification

Invariance Matters：Exemplar Memory for Domain Adaptive Person Re-Identification
当前的问题及概述 ：
本文致力于从标记的源域和未标记的目标域中训练出一个适用于目标域的新领域ReID模型。
传统的做法通常通过缩小源域与目标域之间的特征分布差异来实现领域自适应任务。然而这种方法忽视了同一目标域内不同变量的影响而导致实验效果受限。
为此 本文系统性地分析了样本不变性、相机不变性和近邻不变性在目标域内部变化中的作用 并提出了一种更具普适性的模型框架。

(a)样本独立性:一个样本被迫与其他样本分离,(b)相机一致性:一个样本与其对应的相机风格转移(CamStyle)图像相互趋近,而与其他图像相距较远。©邻域稳定性:一个样本被迫与邻域中的样本相距较近。

本文基于标记源域数据与未标记目标域数据构建了训练机制。同时构建了两个组件分别用于源域与目标域的网络优化过程。第一个组件是一个分类模块，在此阶段将有标签样本的数据集视为一种分类任务并采用交叉熵损失（CE loss）作为优化目标函数；第二个组件是一个范例记忆模块，在此过程中不仅引入了批量归一化层、ReLU激活函数、Dropout正则化层以及前述两个组件；其中保留ResNet-50的前五层构建基础网络结构，并随后添加了一个4096维全连接层；接着引入了批量归一化层、ReLU激活函数、Dropout正则化层以及前述两个组件；这样设计能够有效地提升模型在无标签目标领域的性能表现。

2.2 范例记忆模块

2.3 不变量学习框架

2.3.1 范例不变性（Exemplar-Invariance）

2.3.1 范例不变性实现

样本不变性的目标是最小化CE loss：

2.3.2 Camera-invariance（相机不变性）
在不同相机环境下所得的图片可能因拍摄条件而异。基于带标签的源域训练的ReID模型能够有效捕捉到源域中的相机不变性特性但也可能会受到目标域相机所导致的图像变化的影响由于这两个领域中使用的相机参数设置存在显著差异本文针对每个相机标记ID进行了专门的设计并运用StarGAN框架在目标域上训练出一种新的相机风格转换模型CamStyle。为了使模型能够更好地保持在不同光照条件下的识别能力本文提出了将每张真实图像与其经风格传递后的特征进行一致性约束的方法这一策略旨在优化Camera-invariance相关的性能损失函数具体表达式如下：L_{\text{Cam-Invariance}} = \mathbb{E}_{(x,y)\sim\mathcal{D}_{\text{Target}}}\left[\|f_{\text{CamStyle}}(x) - f_{\text{Original}}(y)\|^2\right]

其中ˆxt代表一个从style-transferred xt图像中随机选取的目标样本。这种选择方法旨在使来自不同相机风格图像中的相似样本比例趋于相近。
2.3.3Neighborhood-invariance（近邻不变性）
对于每个输入的目标图像，在其所属领域内可能存在多个正样本实例。为了进一步提高系统的鲁棒性，首先通过计算每个目标图像与正样本实例之间的余弦相似度 f (xt,i)，并结合特征存储在内存中的键记忆(K)，系统能够更好地捕捉类内特征一致性。
通过评估系统中存储的关键点记忆库K与当前查询实例xt之间的余弦相似度分布情况，在这些候选点中筛选出最接近的目标点集M(xt,K)，从而提高系统的鲁棒性和准确性。

目标函数soft-label loss：

2.3.4不变性学习的总loss：

2.4 overall loss：

实验 ：

数据集：Market-1501, DukeMTMC-reID and MSMT17

与其他方法比较：

消融实验：

总结