Advertisement

【红外与可见光图像融合】STFNet: Self-Supervised Transformer for Infrared and Visible Image Fusion

阅读量:

IEEE TRANSACTIONS ON EMERGING TOPICS IN COMPUTATIONAL INTELLIGENCE\\代码公开

本文指出了一些有趣的观点:我们假设融合数据集中的图像对仅存在轻微偏移现象,并经由图像配准算法进行过预处理工作。随后我们提出了变形卷积模块以实现VIS与IR特征的有效对齐。在特征融合模块中我们采用了自注意力机制与交叉注意力机制分别命名为细节自注意机制与显著性注意机制这一设计主要出于技术实现需求而非故事情节编造文章中未提及相关内容但代码中明确标识该模块系取自2021年CVPR会议的一篇论文TransT Tracking系统直接用于本研究中的特征融合部分

本文框架:

在这里插入图片描述
在这里插入图片描述

2021的CVPR

在这里插入图片描述

作者说特征对齐模块解决了错位问题,并减少了融合图像中的伪影。

作者举得没有完全对齐的例子–?

在这里插入图片描述

损失:

在这里插入图片描述
  1. MS-SSIM损失
在这里插入图片描述

频率损失:

在这里插入图片描述

使用拉普拉斯算子把高低频分开,分别约束

傅里叶损失;

在这里插入图片描述
在这里插入图片描述

典型主观图

在这里插入图片描述

左上角没有烟,有点模糊

全部评论 (0)

还没有任何评论哟~