【IVIF】Infrared and visible image fusion with entropy-based adaptive fusion module and mask-guided co

本文提出了一种基于源图像多层级分解的方法进行融合的技术思路。具体而言，
该方法将源图像分解为基础层与细节层两个主要组成部分，
分别对应基础层主要考虑图像的像素强度信息，
细节层则考虑图像的纹理细节特征。
在此基础上，
本文采用了基于手动标注的Mask进行辅助融合策略。
具体而言，
本文设计了一个基于图像质量评估与信息熵自适应权重分配机制的熵自适应融合模块，
用于融合一级基础层特征；
同时，
针对细节层特征提出了最大绝对值规则约束下的深度卷积神经网络模型；
对于包含复杂纹理与边缘特征细节层部分，
我们引入了基于掩码引导的深度卷积神经网络模型进行特征融合。
值得注意的是，
这里的掩码是在训练集上对红外图像的手工人工标注结果进行了严格定义与约束；
此外，
在详细阐述这一部分时，
我们进一步将细节层特征分解为前景目标区域与背景区域两大部分分别进行融合计算。
这种多层级分解与融合策略与其他现有方法有显著区别。
来源：Infrared Physics and Technology 2023 Code
代码已公开

1、怎么分解的？

第一次使用GF得到Base层，源图像减去B就得到Deatil层。

2、Base怎么融合的？

在大多数传统方法中, 通常采用简单的平均规则直接融合基础层的信息. 而本文则提出了一种根据源图像自身特性进行自适应融合的方法, 并利用深度神经网络进行无参考图像质量评估(IQA)[36]. IQA评分越高, 则表明所评估的图像质量越好, 在模糊与噪声方面表现更为出色. 此外, 在仅凭IQA评分无法充分衡量所含信息量的前提下, 我们引入了客观度量熵[37]来评估每个输入图像的平均信息含量.

我们采用λ作为调节因子以调节数值，并分别获取红外图像与可见光图像对应的EIR及EVI得分值。在此基础上进行超参数调优并完成消融测试

映射到【0，1】，得到加权矩阵

第一级Base初步融合结果：

，
两个权重系数和值域在【1，2】

基础层主要考虑图像的像素强度信息，细节层考虑图像的纹理细节。

作者指出，在解决低频信息丢失问题的基础上，并进一步采用了GF这一手段之后得到了第二级Base层；在此阶段采用最大值策略进行处理，并对一阶与二阶层次的结果进行了整合叠加运算以生成最终的整体Base融合层。

3、Detail层怎么融合的

通过从源图像中减去Base图像获得Detail层后, 作者通过使用IR显著性掩码M, 分别提取前景区域和背景区域（这等同于对细节层进行了再一次的分解）。

4、损失

逐个单元来看，我们旨在让融合后的结果与红外图像更加接近于相同的像素强度分布表示。而可见光图像的信息对比度较低，则应该适当降低其在融合过程中的权重。

可见图像是由丰富的纹理细节构成，并且包含大量明显的轮廓边缘。由此可见，在融合后所得图像是希望其在整体特征上与原始可见光成像更为接近；特别地需要注意的是，在梯度特征这一关键指标上，则存在显著差异：因为红外成像系统所获取的信息主要集中在较低频段的能量范围之内

最终的融合结果，Base和Detail融合结果取平均

5、主观图

左上角的烟没有保存