学习笔记： RGB-Infrared Cross-Modality Person Re-Identification --数据集SYSU-MM01
https://www.isee-ai.cn/project/RGBIRReID.htm
红外成像技术是一种前景广阔的新兴技术。比可见光光谱中红光部分更长的电磁波属于红外辐射范围，在此范围内有近红外与热红外两种不同的谱段。近红外是指波长从0.78微米至2.0微米之间的电磁波段而热红外则是指2.0微米至1000微米之间的电磁波段。由于自然界中所有物体都具有辐射特性因此通过探测仪对比目标区域与背景区域间的红外辐射差异能够构建出基于不同热辐射特性的可靠图像信息
模态性在跨模态检索中的应用重点在于数据特征的不同维度表示能力例如通过模式识别算法对图像视频等多类型数据进行特征提取并建立相应的关联模型以实现不同类型数据之间的有效融合与交互
论文名字
2017-ICCV-RGB-Infrared Cross-Modality Person Re-Identification
1 大小
由来自6个摄像机捕捉到的491 identities的RGB和IR图像组成，在此过程中合计包含了...
2 RGB-IR RE-ID 任务分析
- 异构性：RGB可见光成像采用三通道（红、绿、蓝），而红外热成像仅具单通道（红外）。
- 基于成像原理分析发现，RGB与IR图像所处的波长区间存在差异。值得注意的是，在这种情况下，红外图像完全没有颜色信息。
- 拍摄视角、物体姿态及曝光条件等因素的问题会导致内部差异现象。这一现象在基于广视图和深度图结合的方法（即RGB-GEB）以及传统的RGB-IR方法中都有体现。
- 已有研究者对单一模式识别方法进行了相关探索（如IR-IR模式识别），但针对多模态下的联合特征提取方法（如RGB-IR）的研究仍处于空白状态。
3 难点分析
method propose
Domain-specific modeling plays a crucial role in extracting shared features for matching tasks due to the domain shift phenomenon.
Investigated and compared are two-stream structures, as well as asymmetric FC layer structures.
Zero-padding method is proposed to automatically optimize domain-specific structures during the training of one-stream networks.
贡献
- 第一个数据库为REG-IR类型，其标识符为SYSU-MM01。
- 针对SYSU数据集，采用了当前流行的REID网络模型进行实验。
- 评估了三种不同的REID网络架构的效果：包括单流、双流以及不对称结构。
- 提出了一种基于零填充的单流架构，在RGB-IR REID任务中取得了显著成效，并在与具有跨域学习能力的双流模型相比时表现出色。
SYSU-MM01 数据集
cameras1 和2使用RGB Kinect V1设备对室内区域1 和2进行数据采集，并获取了共400张无光的RGB图像。cameras3 和6分别用于捕捉红外图像，在房间2中室内环境较暗，在室外区域（对比度和明暗变化明显）分别使用了cameras3 和6。cameras4 和5则用于捕捉室外场景中的gate和garden区域的RGB数据
train阶段: There are 491 valid IDs in SYSU-MM01 dataset.
- 296 identities for training , 99 for validation and 96 for testing
test阶段：all-search、indoor-search
- IR 相机编号为3和6负责探针集。
- 在所有搜索 图表中，RGB 相机编号为1、2、4和5负责 图表集合。
- 在室内搜索 图表中，请勿使用相机4和5来捕获室外区域。
1 one-stream structure
2 two- stream structure: instance domain adaptive: don’t share cnn
3 asymmetric Fc layer: domain adaptive in feature level
4
