【DMINet】Change Detection on Remote Sensing Images Using Dual-Branch Multilevel Intertemporal Network
该论文提出了一种高效的遥感变化检测方法，通过提出双分支多级跨时间网络(DMINet)来解决复杂场景下的检测问题。该模型结合了自注意力(SelfAtt)和交叉注意力(CrossAtt)机制，在双时相影像间进行特征交互与全局信息融合。采用轻量级编码器对特征进行编码，并通过减法操作获取差异特征图。实验结果表明DMINet在多个数据集上均优于现有方法，并且消融实验验证了其有效性。
摘要
目录
创新点
1.网络结构图
2.JointAtt模块
3.双时相差异特征获取
4.预测头与损失函数
5.实验
5.1网络结构对比
5.2数据集精度对比
5.3可视化结果对比
5.4消融实验精度对比
5.5特征图可视化
创新点
- 开发了一个即时可用的跨时间JointAtt模块，在抑制无关干扰的同时聚焦于真实变化，并通过整合自注意与交叉注意力机制实现个体表示的双时相结合以及全局信息交互。
- 为突出变化检测能力的设计方案从差异生成与多层次聚合两个维度构建了一个高效的CD体系结构：前者包含像素级减法操作和通道级联学习的双分支架构后者则利用简单的哈达玛卷积在多级差异特征间执行增量对齐。
- 通过四个不同数据集的定量分析与定性评估我们提出的DMINet模型始终展现出超越现有最先进算法(SOTA)的优势。
pjtq
pjtq
pjtq
标签pjtq
代码下载链接：GitHub
1.网络结构图
总体网络步骤：
step1：用resnet18网络作为特征提取骨干网络，获取不同层级的特征；
step 2：通过使用一个轻量级编码器，在交互过程中对层次内的双向时态特征进行编码；具体而言，在图中所示的multi-level特征块中，则是由JointAtt模块负责这一操作。
step3：通过优化后的JointAtt模块实现多层级差异特征图搭建，在这一过程中主要实现像素差分减算子与通道叠加操作，并分别生成两个解码器输入信号作为解码器的两个输入信号；
step4：通过像素乘运算来进一步强化变化趋势的变化特征；通过逐步递增的方式实现了对高到低级别特征的轻量级聚合。
2.JointAtt模块
由于双时相图像包含了大量与任务无关的对象，在前景与背景类别失衡的情形下，变化的目标通常仅限于少数区域。针对这些问题，作者提出了一种基于双时间图像之间相互作用机制的方法来促进注意力集中在发生显著变化的区域段上。具体而言，在模型架构中整合了SelfAtt和Cross Att的相关组件以形成一个联合注意力机制（Joint Att）。
从公式推导可以看出，在自注意力机制中，selfAtt模块主要聚焦于同一图像内部的特征相互作用。相比之下，CrossAtt模块则专注于两张不同图像之间的特征关联。其主要区别在于前者仅关注同一图像的局部信息处理能力，而后者则能够捕捉并整合两张图像间的全局特征关系。就功能特性而言，自注意力机制是一种经典的方法；然而，在这里重点介绍CrossAtt模块的独特之处：它通过将两张不同影像的特征图进行拼接操作，并将拼接后的特征图分别作用于这两张原图中以实现对各自影像的关注度调整。这种设计使得CrossAtt能够有效地突出两张图中对应变化区域的关键信息。
3.双时相差异特征获取
利用跨时间JointAtt模块传递各时间段图像特有的信息后
作者按照递增顺序完成了从高到低级别特征的轻量化聚合过程。具体来说，在差异图上变化区域的数值通常较大时，则采用像素乘运算作为进一步增强特征的关键手段。
4. 目标预测头部与损失函数
利用双线性插值技术将特征图缩放至与原始输入尺寸一致，并随后经过两个卷积层并配合批量归一化操作进行特征提取。所采用的损失函数为交叉熵损失，并各分支输出与其对应真实标签之间的损失被整合用于优化网络参数。具体的数学表达式如下所示：
5.实验
5.1网络结构对比
5.2数据集精度对比
5.3可视化结果对比
5.4消融实验精度对比
5.5特征图可视化
