【SCPFCD】Change Detection Based on SupervisedContrastive Learning for High-ResolutionRemote Sensing

SCPFCD框架是一种监督对比预训练与微调结合的高分辨率双时遥感图像变化检测（CD）方法。该框架由两个阶段组成：首先，在标记的CD数据上进行监督对比预训练（CDContrast预 training），通过结合土地覆盖对比学习（LCL）与代理变化检测任务优化编码器；其次，在预训练编码器基础上进行端到端微调以进一步提升模型性能。LCL通过优化 land cover的空间关系增强编码器的能力；代理变化检测任务则帮助学习特征表示并减少信息损失。实验表明，在WHU、Season-Varying、SECOND等数据集上验证了该框架的有效性，并通过类内类间距离度量可视化展示了模型的优势；此外还讨论了超参数选择及损失函数与精度曲线对比结果，并分析了模型的时间空间复杂度表现良好。

目录

0.摘要

1.背景

2.SCPFCD网络总体结构

2.1 CDContrast Pretraining

2.2 Land Contrastive Learning

3.实验

3.1WHU数据集

3.2 Season-Varying数据集

3.3 SECOND数据集

3.4 类内类间距离度量可视化

3.5超参确定

3.6损失函数与精度曲线对比

3.7时间空间复杂度

整理不易，欢迎一键三连！！！

---

0.摘要

在高分辨率双时遥感图像中，变化检测（CD）是一项具有挑战性的任务。目前针对CD任务的研究大多聚焦于构建全卷积孪生网络架构。然而，在这些方法中，初始化编码器通常依赖于随机值或基于ImageNet的预训练模型，并未充分考虑CD任务的特殊需求而影响了模型性能。为此，在本文中提出了一种新型监督对比预训练与微调结合的框架（SCPFCD），该框架由两个级联模块构成，在预训练阶段利用标记数据对提出特定目标进行监督对比学习，并结合代理学习策略优化特征提取能力；随后通过端到端的方式进行进一步微调以优化变化检测性能。该框架在包含多源高分辨率遥感数据集上的实验表明其能够有效提升孪生网络在变化检测方面的性能表现

出处：TGARS2023

paper:下载链接

1.背景

如图所示，在特定应用场景中讨论的是一种常见的FCN双胞胎网络模型用于解决CD问题时的编码器结构初始化方式。该模型的编码器部分初始参数设置可采用随机值生成的方式进行初始化；或者选择基于Imagenet预训练权重进行参数填充的方法以提升初始学习能力。

2.SCPFCD网络总体结构

SCPFCD框架由两个级联阶段构成：监督对比预训练与微调阶段，并通过该结构用于训练基于编码器的孪生网络。该编码器在参数初始化方面表现出显著优势。具体而言，在第一级监督对比预训练阶段中，所提出的CD对比预训练方法通过整合监督对比学习与代理CD学习原理，实现了地物对比学习（LCL）的目标，在带标签的CD数据集上对编码器进行系统性预训练以支持后续的CD任务应用。随后在第二级微调阶段中对预训练得到的编码器进行优化调整，并借助CD解码器完成目标CD任务的具体实施。这种分步策略不仅保证了良好的参数初始化效果还能有效提升孪生网络的整体性能水平

LCL用来探究不同土地覆盖的空间关联，并作为编码器进行监督对比预训练的基础。在该框架下，基于时间一致性的像素对被识别为正样本，并要求编码器增强采样空间内正样本特征的融合能力。从而有效缓解因下采样导致的信息丢失问题。通过该对比学习策略优化后的孪生网络架构，在双时间分辨率图像数据集上实现了对 land cover 的有效视觉表示。

进行代理学习 CD 以避免 LCL 运算陷入局部最优解这一问题；同时，在监督对比预训练过程中学习与 CD 相关的特征表示。在进行代理 CD 学习的过程中，则要求编码器采用双时态上采样投影技术来完成识别 CD 引导器中存在变化状态以及无变化状态的任务。通过协同作用于 LCL 的过程，则能够通过协同作用确保后续开展 CD 任务能够保持较高的特征质量

2.1 CDContrast Pretraining

CD对比学习预训练模块主要由两个子模块协同运作而成：其中一个专注于基于LCL的土地覆盖对比学习的任务，另一个则承担着综合变化检测的功能。在支撑后续变化检测方面发挥着关键作用。损失函数也同样由两个部分构成：

其中

为了均衡处理两个损失参数的问题,LCL模块负责从一幅图像中提取不同土地覆盖类型的空间分布特征.同时能够区分变化区域与稳定区域,从而使得同类土地覆盖类型具有较强的关联性.因为两者在优化目标上具有高度一致性,因此在整体代理任务的目标函数中

取1。

2.2 Land Contrastive Learning

将两幅图像中的不变区域视为同一类别下的土地覆盖类型，在其投影空间中具有最大相似度的正视点位置上进行分析研究，并用于学习特征表示。其中包含两个部分：一个是位于线上的局部坐标系（蓝色），另一个是位于目标节点上的全局坐标系（绿色）。这两个部分被视为多视角下的双时态输入图像，并通过线上的局部坐标系来预测目标节点的空间表达。随后利用基于梯度的优化方法逐步更新参数，并采用与其存在不对称性的参数更新机制对目标节点进行优化计算。

该系统模型基于一组可学习参数组\theta构建，在其架构中包含多个关键组件部分。其中上采样投影模块U_\theta作为基础结构存在，主要职责是优化编码器E_\theta所提取特征的质量水平；而另一个核心组件为预测器P_\theta这一角色，则负责协调在线网络与目标网络之间的功能关联；具体而言该预测器采用像素传播机制来完成任务并提升像素级别的特征表示能力；此外从整体流程来看该系统模型通过以下步骤完成关键功能：首先对线上推断结果执行下采样处理随后将其与线下推断输出进行对比损失计算从而完成整体训练过程

该环节的具体流程如图5所示，在详细过程中基于多层次卷积神经网络进行计算后获得上采样后的编码特征。

代理变化检测系统的主要功能是通过对两个在线网络模块输出数据实施相应的引导措施。该系统的具体操作流程包括：首先对两个在线网络模块输出的数据实施上采样处理；随后利用3×3卷积神经网络（CNN）结合二分类技术构建分类模型；完成模型训练后生成代理变化检测结果图；最后对比所得结果与真实值并计算对应的损失函数。详细的损失函数计算公式如下所示：

该网络由两个关键组件构成：动量编码器Eθ和动量上采样投影仪Eθ。其中通过动量运算显著提升了预训练阶段的表现

SPFCD网络在其解码器模块及主干网络结构上与其传统孪生网络架构保持高度一致性，在编码器模块设计上实现了算法创新突破。基于此特点，在后续论述中无需详细展开其解码器模块及其主干架构相关技术细节

3.实验

3.1WHU数据集

3.2 Season-Varying数据集

3.3 SECOND数据集

3.4 类内类间距离度量可视化

D intra：类间距离

d intra _i: 第i类的类间距离

D inter：类内距离

d inter _i: 第i类的类内距离

ci：第i类的特征中心

S inter : 类间一致性的最小值

3.5超参确定

上采样倍数选择2倍。

取>0.5的值

3.6损失函数与精度曲线对比

3.7时间空间复杂度

整理不易，欢迎一键三连！！！