跨模态行人重识别cm-SSFT：Cross-modality Person re-identification with Shared-Specific Feature Transfer 学习笔记

目录

摘要

方法

试验

---

Cross-modal person reidentification with shared-specific feature transfer

摘要

在本文中 我们提出了一种称为cm-SSFT的新跨模态共享特定特征转移算法以解决前述限制 我们基于共享特征将不同模态样本进行分类 并建模其亲和力 随后我们将共享特征与特定特征在模体间以及跨模块间进行传输 接下来 我们提出了一个互补的特征学习策略 包括模式适应性机制 项目对抗学习以及重建增强技术 这些方法分别用于学习每种模式的独特判别性和互补性 从而实现对共享特性和特异性的有效提取 最终 整个cm-SSFT算法则可通过端到端的方式完成模型训练

该方法在采用共享特性方面过于激进，在获取专用特性方面存在明显缺陷。由于无法从其他模式中获取专用特性信息, 因此我们采用了构建跨模式近邻亲和效应模型的方法, 在引入专用特性的同时, 有效利用了每个样本的共同特征与专用属性。

cm-ReID的主要挑战在于由于不同相机各自的成像机制存在本质差异而导致的模态不一致性问题。红外图像相较于RGB图像缺乏一些判别性的视觉特征信息，在实际应用中往往难以提取有效的表征数据。基于现有研究方法可大致分为两类：一种是基于模态共享特征学习的方法[46,49,50]；另一种是基于模态特定信息补偿的方法[4]。其中模态共享特征学习的目标是将不同模态的数据映射到统一的特征空间中进行表示学习过程[7,11]；而模态特定信息补偿则侧重于通过引入额外的信息来弥补单一模态难以提取完整表征所带来的限制性问题[58]。然而，在传统的ReID算法中视觉特性的提取仍然占据着核心地位；仅依赖于共享线索进行表征建模会导致识别性能受到显著制约[63]。因此为了进一步提升识别性能必须探索能够有效利用各模态特有的补充信息的新颖算法设计思路[18,27]

方法

为了解决上述局限性, 提出了一种名为 cm-SSFT 的跨模态特定特征转移算法. 该算法通过建模不同模态内样本与不同模态间样本之间的亲和力, 并通过这些关系传播信息. 每个样本从其邻近的不同模态间的样本以及同模式内的样本获取信息, 并分享自身的状态. 该方案通过弥补特定领域知识的不足、增强共享特征的稳定性和可靠性, 在整体表征能力方面展现出显著优势.

贡献

开发了一种端到端的跨模态共享特定特征转移（cm-SSFT）算法，并通过基于模态间的共享特性以及内生属性提取机制，在该领域实现了对人ReID性能的显著提升

（2）开发了一种特征转移策略，在构建了跨模式间及内部亲和度模型后，通过邻居在不同模式之间以及跨模式传播的信息处理机制，在充分挖掘每个样本的共有特征与独特特性的基础上实现了有效的学习与迁移。

（3）开发了一种新型的互补学习方案以分别提取各模态间的区分性和互补性共享以及特有的特性从而有助于提升基于 cm-SSFT 的系统性能

方法

Cross-Modality Shared-Specific Feature Transfer

输入图像随后传递至双流特征提取器中，在此过程中建模为共享与特异性的结合体。随后建立了一个专门针对模式内亲合度及模式间亲合度的SSTN架构模型。接着该系统通过跨模式机制将共享与特异特征进行传递以补充信息不足之处并强化基础共性特征。为了实现对共享与特异特征的有效区分与互补整合，在基础架构上增加了对抗模块重建组件以及自适应模块以进一步优化图像处理效果。

Two-stream feature extractor

双流特征提取器由蓝色共享流动（ModularSharedFlow）与RGB绿色流动以及IR黄色流动组成。每个输入图像Xm（其中m属于{R,I}）将通过卷积层及其对应的特征块来生成共享特征与专用特征。为了在性能上取得更优效果，在较浅的卷积层而非深度全连接层中实现流动分离

为了确保这两种特征都能有效地区分数据，我们在每个特征中引入了分类损失项 Lc，并对每一种特征而言，在其计算过程中引入了分类损失 Lc：

其中 p(ym,i|Xm) 表示输入图像 Xm 被归类为真实类别 ym,i 的预测概率。分类损失确保了特征能够有效区分输入的身份。我们同时引入单模态三元组损失 (LsmT) 和交叉模态三元组损失 (LcmT)，分别应用于特定特征层和平共处层；这有助于提升模型的可辨别性。

Shared-Specific Transfer Network

[RGB-specific; shared; Infrared-specific] as follows:

0 向量用于填充表示空间中缺乏特定特征的部分，在跨模态检索中需要通过特定机制将不同模态的信息进行有效融合与补充以提高检索性能。受图卷积网络（GCN）原理启发，在这种框架下通过近邻传播机制来维持样本空间的整体上下文信息结构，并通过构建共享特定传输网络来实现既缺乏某种特征又能在整体上增强表示能力的目标。
如图所示，在特征学习过程中首先根据样本在不同模态下的表征特性建立亲和度模型；随后利用该模型对内外模态之间的信息进行传播与融合；最后通过分类器以及三元组损失函数来引导整个学习过程优化以达到预期效果。

Affinity modeling

通过公共性和专用性特征模仿成对关系的力量。我们利用特定特征测量模态内的亲和力以及模态间共有的特性，如下所示：

内在关联性和相互关联程度表征了与其他样本之间在相同和不同特征上的关联。我们将其最终的关联矩阵被定义为

该函数T(•,k)被定义为近邻选择机制。此机制通过保留输入矩阵每行的前k个最大元素来实现特征提取，并将其余元素置零。

Shared and specific information propagation

该网络通过该矩阵实现特征传播，在之前一段中指出不同模态（RGB与红外）的特征沿行维度进行连接，并将每一样本的特征存储于同一行的位置上

基于GCN框架生成了 affinity matrix A, 其中涉及的特征将通过一种基于近邻关系(D-支AD-支Z)的方式进行传递, 经过一个可学习的非线性变换过程实现信息整合. 特征融合完成后, 所有已传播的信息 Z 将进一步更新为

注

在我们当前实现中, σ 代表激活函数的具体形式. W 代表 SSTN 中的可学习权重参数. 随后进入特征学习阶段的所有传播性特征将用于优化整个系统. 转移的过程由符号 T 定义.

遵循共同的特征学习原则，我们使用分类损失进行特征学习：

基于转移特征应用三元组损失以提升区分度。由于转移的特征既包含共享属性又融合了模态特有的特性，在此基础上我们引入 cm 和 sm 三元组损失项 LcmT(T) 和 LsmT(T)，能够更有效地区分不同类别。

Shared and specific complementary learning

SSTN研究了一种创新性方案以整合这些共同的关键属性以生成独特的表征。然而整体性能仍然会受到这种信息重叠的影响。

问题1：

问题2： 当特定特性与共享特性高度关联时，则该特性仅能为共享特性提供有限的补充作用。基于共有信息的影响下，在等式（6）中嵌入模式内相似性矩阵时，请注意避免引入过多地依赖于特异性模式的信息所带来的潜在问题。

方法： 以解决这两个问题为目标，在研究领域内开发了一种新的解决方案框架。该框架通过模块化设计实现了跨模态表示能力的提升，并结合了先进的对抗学习机制与强化优化方法，在多模态数据处理中展现出显著的优势与应用潜力。

共享特征的模态适应

为了实现纯化与模态无关的共享特征这一目标, 我们采用了基于具有三个全连接层的设计方案来实现对每个共享特征对应的模态进行分类处理

其中 ΘD 被定义为模态鉴别器的参数。 p(m|Hm i ) 表示特征 Hm i 在模态 m 中的预测概率。在判别阶段，模态鉴别器旨在对每个共享特征所属的模态进行分类。在生成阶段，主干网络将通过生成特征来误导判别器。这种最小-最大博弈机制确保共享特征中不含任何与模态相关的信息。

针对特定功能的项目对抗性学习

通过使得特定的特性与共有的特性保持不相关性, 采用了一种项目对抗策略. 在训练过程中, 将特定特性投射到同一样本的共有特性上. 通过将投影误差作为损失函数来优化模型参数.

其中 Θmp 对应于模态 m 的投影矩阵，在该等式中，“·”代表矩阵相乘操作。同样地，在判别阶段中，Θmp 的优化目标是将特定的特征向量投射至对应的共享特征空间中。在生成阶段中，则要求主干网络能够生成与共享特征无关联的独特特征以蒙蔽其投射过程。通过对抗性训练的方式使两种不同类型的特征能够在各自的子空间中保持线性独立性；同时通过最小化或最大化投影损失手段（即最小化和最大化）来迫使主干网络学习出与共享特征完全不同的独特模式。

重建增强

跨模态自适应机制与基于对抗的任务学习框架共同促进共有的与专用特征之间信息的相互排斥。通过融合模块将共有的与专用特征求其相互排斥关系，并将其传递至解码器De用于进一步处理。

[•; •] 表示特征连接。 L2损失用于评估重建图像的质量：

信息重建机制受到了整体信息丢失量的限制；通过融合模态适配机制与对抗学习方法，能够促进共享与关键属性的共融，并得以形成自我区分与互补的能力。

试验