【论文阅读】SegMiF：Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image

该研究团队的主要创新点在于其提出的多交互式特征学习框架及其在图像融合与分割任务上的优越性能表现

GitHub - JinyuanLiu-CV/SegMiF: ICCV2023 | Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation

Interactive Multi-modal Feature Extraction and an Interactive Dataset for I mage Fusion and I mage Segmentation (ICCV2023 Oral Presentation)

现有方法存在问题：

大多数学习方法侧重于生成视觉吸引力的图像，而忽略高级视觉任务

在多任务学习框架中，探索构建损失函数以促进各任务间的协同关系。然而，在特征提取过程中仍面临如何统一各任务间最优特征选择的挑战。

模型概述

Problem formulation

为了创造具备视觉效果的融合图像以及精确且细致入微的场景分割结果，我们将其此二任务整合为一个核心目标。

g(·)被视为多任务联合优化中的约束因子。在本研究中，我们将该函数视作一种特征学习的约束方式，并通过引入分层注意力机制和交互式训练方案来达成目标。

模型架构

分层注意力机制（HIA）将语义信息注入融合模块。

分层注意力机制包含两种类型的注意力机制——一种基于语义信息构建,另一种基于模态特性设计.该机制能够实现融合特征的有效利用以支持下游任务的高效表达.

基于语义注意力机制（SoMA）的主要目标是赋予模态特征丰富的语义关注点。

MoAM 采用互补原则来研究语义上下文中的显着特征。

损失函数

融合损失

结构相似度：

强度：

纹理信息：

总融合损失：

分割损失

通过追踪损失值的变化趋势来优化网络的收敛速度，在本文中我们引入了一种基于任务的重要性评估机制，在此基础上实现了各任务间动态可变权重的自动分配方案。该方案旨在确保各交互特征之间的对应关系能够得到合理的匹配与协调，在减少人工干预的同时实现了更好的模型性能调优效果。具体而言，在第i个任务中采用以下公式实现其对应的可变权重计算过程：

FMB数据集

此外，在开发智能多波段双目成像系统的同时

实验

定量实验

我们通过多维度评估（EN、SD、SF与SCD）实现了均衡的性能优势。其中，在EN和SD指标上表现出色的情况下，该方法在保留源图像信息量和提升像素对比度方面表现突出。

我们分别在MFNet数据集与MFB数据集上实现了最高的mIoU指标，并较之于现有研究最高水平提升达7.66%。值得注意的是，在处理人与车辆两个典型场景方面表现出色的结果表明我们提出的方法在应用于真实世界感知任务时具有显著的优势

定性实验

在视觉效果方面，本文提出的方法能够显著地应对多种可见光干扰因素带来的挑战，在极端强光源干扰和极暗成像场景下同样表现出色。一方面，在图像中能够精准捕获关键红外目标；另一方面，在画面中能够有效维持纹理细节结构完整性，并为后续的语义分割任务提供可靠的支持

基于MFNet和MFB的数据集，在分割任务中的可视化表现如图所示。本文提出的方法不仅还在现有稀疏标注数据集中表现尤为突出，并且成功应对了多种复杂的成像条件下。