2020 AAAI之ReID：Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification

Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification
当前的问题及概述 ：
由于每一对RGB和IR图像之间缺乏对应标签，大多数方法都试图通过减少整个RGB和IR set之间的差异来缓解set-level对齐的变化。但是，这种set-level的对齐可能会导致某些情况下的不对齐，从而限制了RGB-IR Re-ID的性能。
本文提出了生成跨模态paired-images并同时进行 global set-level（集合级别）和fine-grained instance-level（实例级别）对齐的方法。具体解释见下图：

set-level和instance-level对齐的说明。(a) RGB集和IR集之间有很大的差距。(b)现有的set-level对齐的方法是尽量减少两个模态之间的距离，这可能导致某些情况下的不对齐。©我们的方法首先生成交叉模态paired-images。(d)通过最小化每一pair的图像之间的距离来实现instance-level对齐。
有以下几个优点：
1.我们的方法可以通过模态特定特性和模态不变特性来实现set-level对齐。与传统方法相比，我们的方法可以明确地去除模态特征，从而更好地减少模态带来的变化。
2.在给定人的交叉模态unpaired-images的情况下，我们的方法可以从交换的图像中生成交叉模态paired-images。从而，我们可以通过最小化每个pair的图像的距离来直接执行instance-level对齐。
3.在SYSU-MM01数据集上，本模型在Rank-1和mAP上的增益分别为9.2%和7.7%。
模型及loss ：
1.不同网络的生成结果：

(a) 在edge-photo任务中, 我们能够获得一组交叉模态配对图像. 基于这些图像在特征空间中的距离, 我们能够有效地减少跨模态的差异.(b) 在RGB-IR Re-ID任务中, 由于仅有unpaired-images, 由跨模态差异引起的外观变化使任务更加具有挑战性.(©) 本文能够很好地生成与给定图像pair的图像, 这一过程有助于我们进一步改进RGB-IR的识别性能.(d,e) 例如,CycleGAN和StarGAN等方法未能有效解决这一问题.
2. 框架

本框架包含一个跨模态配对图像生成模块G以及一个特征对齐模块F。G首先将图像分解为特定模态特征与不变模态特征，并解码交换后的特征。F则首先通过模态不变编码器实现set-level对齐，并通过最小化每对图像的距离实现instance-level对齐。最后通过训练具有ReID损失模型的学习过程来同时完成模态对齐与身份识别特征提取。

在图2(b)所示，在RGB-IR任务中来自两种模式的信息源不匹配这一问题使得跨模态间差异缩小变得更为复杂。
针对这一挑战我们提出了一种基于特征分离与解码生成配对图像的方法。
假设图像可被转换为具有模态无关特性和特定属性特性的两组特征。
其中模态无关特性包括人体姿势性别服装类别携带物品等内容信息而特定属性特性则涉及服装鞋类的颜色质地等风格信息。
因此对于未配对的信息源我们可以通过分离与交换样式信息的方式生成配对图像其中两个图像具备相同的内容特性（如人体姿势与观察角度）但呈现出不同的样式特性（如服装颜色）。

该框架采用了三个编码器来进行多维度特性分离图中可观察到各符号代表的具体意义：
Ei表示共同特性Es表示专用特性

基于与实际红外图相匹配的目标导向原则，在生成RGB图的过程中，默认采用实际红外图的模态不变的特性（内容相关元素）以及实际RGB图特有的样式因素（样式相关因素），并在此基础之上推导出红外图的一致性

采用三个损失函数用于生成图像的过程。其中一个是图像重建损失（Reconstructive Loss），其作用是为了以迫使被拆分后的特征重构其原始图像的目的：

一个是cycle loss：

其中：

因为最初的两个loss会导致图像模糊性较高，在引入GAN loss后已被实证研究证实能够提升图像的真实度。

Set-Level Feature Alignment模块部分：目前采用传统的two-stream网络进行特征提取的方法并未能有效去除模态特有的特征信息，并且这些特有的模态特征可能已经被编码到共享的特性空间中而导致性能下降的问题在此研究中我们引入了一个集层编码器Esl用于学习集层级别的特性对齐过程该编码器与生成器中的共享特征编码器Ei共用权重参数在交叉模态配对图像生成模块中我们发现Ei能够有效地去除输入图像中的特定于某一种模态的信息从而保留了不变的重要特性因此对于任意输入的图像X其集层级别的对齐特征M可以通过Esl进行计算得到即M=Esl(X)

Instance-Level Feature Alignment部分：为实现实例级别的对齐研究我们采用了由生成器产生的交叉模态配对图像对该过程的关键步骤包括首先通过实例级编码器Eil将集层级别的对齐特征M映射至一个新的有限维特征空间T即T=Eil(M)随后基于此有限维空间T我们通过最小化两个匹配跨模态图像之间的KL散度实现了它们在这一层次上的精确对齐最终所设计的实例级别特征对齐损失函数如下所示

其中，p_1 = C(t_1)与p_2 = C(t_2)分别代表了x_1与x_2在所有恒等式上的预测可能性；t_1与t_2则是在特征空间T中对应于x_1与x_2的特征表示。

2.3overall：

实验 ：
数据集：SYSU-MM01 and RegDB
消融实验（set-level (SL) and instance-level (IL)）：

与其他结构比较：

不同网络的生成结果比较，可以看到本模型生成的图片最真实：