CVPR 2020之ReID：Cross-modality Person re-identification with Shared-Specific Feature Transfer
Cross-modal person re-identification using shared-specific feature transfer
当前的问题及概述 ：
现有的研究主要关注于整合不同模态数据至统一的空间表示以学习共同表达特性。然而仅提取共性会导致大量信息流失，并削弱了各模态间的独特特性。
本文提出了一种 novel 的跨模态共享特征转移算法 cm-SSFT 以应对上述挑战，并旨在探讨如何通过整合共享信息与特有特性来提升模式识别的效果。
图1可见,现有模态共享特征学习方法因无法从其他模态提取特异信息而失去了许多宝贵线索,而本文算法在此基础上引入了模态特征,成功整合了每个样本的共性信息与特异信息
Two input streams are processed by a two-stream feature extractor to obtain distinct sets of unique features, comprising shared characteristics and modality-specific attributes as shown in Equation 1. The shared-specific transfer network (SSTN) model is then employed to analyze the internal consistency within each modality as well as the inter-modality relationships between different modalities. A cross-modal propagation mechanism is subsequently implemented to integrate shared features and modality-specific attributes across different modalities, thereby compensating for the lack of specific information in individual modalities while enhancing the overall quality of shared features. To further improve the model's performance, two adversarial reconstruction modules (project adversarial modules) and one modality-adaptive subnetwork (modality-adaptive subnetwork) are added to Equation 1 in order to achieve more discriminative yet complementary shared features along with modality-specific attributes.
为了确保这两类特征各有其独特性，在每一种类别特征上引入了分类损失Lc，并通过引入分类损失Lc来实现对输入身份的区分能力提升。
改写后的内容
Shared-Specific Transfer Network通过对提取出的特征进行统一的特征表达,我们采用三层次结构的形式表示: [RGB-specific;共享;IR-specific]具体而言,括号内的内容表明: (0表示0填充;意为级联操作)
2.1 相关性建模 基于共同特征与特异性特征构建配对亲合模型；其目的旨在实现样本在同一体系内的相互关联以及跨体系间的关联性
d(a, b)是欧几里得距离度量函数，分别取Pmi，Pmj，Hmi，Hm‘j：
亲和力矩阵表如下所示；其中T(•,k)代表近邻选择函数。该方法会保留每行中前k个最高分，并将剩余元素置零（即仅保留权重最大的K个数值而其余元素设为零）：
亲和力矩阵可被视为一种重要性程度指标，在衡量样本间相似程度时具有参考价值，并根据相似度大小动态调节各样本间的相对距离关系
求得亲和力矩阵A的对角阵D，经过
和融合操作完成后，在此基础上生成了包含两个模态特异性和共性的特征集合；计算公式为Z~= ... ，其中σ表示relu激活函数运算符；权重参数w经全连接层处理得到值为 ... ，这些参数均来自自监督学习网络（SSTN）
在这一阶段, 将相关传播属性输入到特征学习过程中, 以提升整体学习效能. 传输的特征T表示为:
根据共同特征学习原理，利用CE loss进行特征学习:
由于特征既包含了两种模式的共同特征,也包含了两种模式的独特特征。在ranking loss中对triplet loss进行了改进,命名为cm-triplet损失函数LcmT(T)和sm-triplet损失函数LsmT(T):
SSTN开发了一种基于两者的共有属性的新方法来生成具有独特性的表征。然而这种信息重叠可能对整体性能产生负面影响为此我们需要通过模式自适应机制从共享特征中筛选出特定模态特征。
3.1 Modality adaptation for shared features
为了去除与模态相关的干扰信息 我们采用三层全连接的模态鉴别器来分析并分类每个共享特征所携带的具体模式。
在生成环节中, backbone网络负责生成能够欺骗鉴别器的特征. 在鉴别阶段, modality discriminator旨在对每个共享特征所对应的模态类别进行分类. 这种对抗游戏机制确保了common feature中不含任何模态相关的信息. 3.2 采用对抗学习策略以促进特异性特征的发展. 为了确保特有特性与共性特性之间不存在关联性, 我们提出了一种对抗策略. 在训练过程中,我们将特有的每个样本与其对应的共享特性进行投影, 投影误差被定义为损失函数：
θmp代表模态m的投影矩阵，在生成阶段中，backbone网络会创建与共享特征无关的具体特征以欺骗判别器；而在判别阶段中，则尝试将这些具体特征投影至相应的共享特征上。通过这种min-max博弈过程使其最终学习到不同于共享特征的独特特性。
3.3重构增强部分。
前面两部分已经学到了共享特性和特定特性能相互独立的信息表示方式。为了提升这两个特性的完整性程度，在每个模态处理完自身后部信息后均采用一个解码网络来进行重构还原输入信号的操作；我们将共享特性和特定特性进行有机融合，并将其传递给解码网络De：
L2 loss来评价重建图像的质量：
4.overall：
Feature learning loss：
Min-max loss：
ΘN表示除了鉴别器外的整个网络的参数。交互式学习过程是：
实验 ：
与其他框架的比较：
这里的指标涵盖了随机擦除的数据增强技术，在未实施数据增强的情况下，该数据集的rank-1性能值分别为52.4和54.1。
该部分包含四个具体的重构实例：
分别为第1至4行，
它们分别对应于原始图像，
共享特征的重构，
特定的重构，
以及所有特征的重构结果。
