【BAN】A New Learning Paradigm for FoundationModel-based Remote Sensing Change Detection
发布时间
阅读量：
阅读量
这篇论文提出了一种基于通用基础模型的适应变化检测（CD）框架，称为BAN框架。该框架旨在利用大型基础模型的通用知识，减少现有CD模型对标记数据的依赖。通过引入桥接模块和Bi-TAB模块，BAN框架能够将通用特征与特定任务特征有效融合。实验结果表明，BAN框架只需少量可学习参数即可显著提升现有CD方法的性能，证明了基础模型在适应CD任务中的可行性。该框架具有高度可扩展性，可受益于更强大的基础模型，为后续研究提供了新方向。
change detection
变化检测系列论文专栏
change detection
目录
🌷🌷简介
题目：一种基础模型遥感变化检测的新学习范式
论文：paper
代码：code
🍇🍇1.摘要
🍋🍋2.创新点
🍓🍓3.网络结构
🍭3.1模型框架
🍭3.2网络结构
基础模型提取
Bi-TAB
桥接结构
🍭3.3BAN框架伪代码
🍭3.4损失函数
🍂🍂4.实验结果
🏆4.1LEVIR-CD数据集可视化结果
🏆4.2LEVIR-CD数据集精度对比
🏆4.3BANDON数据集可视化对比
🏆4.4S2LOOKING数据集精度对比
🏆4.5BAN框架与其他CD方法对比
🏆4.6LANDSAT-SCD数据集对比
🏆4.7BANDON数据集对比
🏆4.8WHU-CD数据集上BAN与其他孪生监督CD网络对比
🏆4.9参数选择实验
🌷🌷5.启发
整理不易，欢迎一键三连！！！
送你们一条美丽的--分割线--
改写说明
🌷🌷简介
题目：一种基础模型遥感变化检测的新学习范式
论文：paper
代码：
(https://github.com/likyoo/BAN "code")
* * *
## 🍇🍇1.摘要
>
>
> 变化检测（CD）是一项观察并分析土地覆盖的动态过程的关键任务。 虽然大量基于深度学习的CD模型表现出色，但是他们的**性能改进** 受到以下因素的限制：**从给定的标记数据中提取的知识是有限的** 。 另一方面，最近出现了一些包含**通过跨数据模式扩展获得大量知识和代理任务** 的基础模型。 在本文中，我们提出了一种 **Bi-Temporal Adapter Network (BAN)** ，这是一个基于通用基础模型的旨在提取基础模型的CD适应知识法人网络框架，**BAN** 主要包含三个内容：**冻结基础模型** （例如 CLIP）、**双时态适配器分支** （Bi-TAB），以及它们之间的**桥接模块** 。
> **Bi-TAB** 可以是现有的任意CD模型或一些手工制作的堆叠块。**桥接模块** 的设计旨在使一般功能与特定任务/领域的功能的通用模块知识注入 Bi-TAB模块。 据我们所知，这是第一个使基础模型适应 CD 任务的通用框架。
>
>
>
> **大量实验** 证明了我们的 BAN 的有效性，提高了现有 CD 方法的性能（例如，只需要一些额外的可学习的参数，提升 4.08% IoU ）。 更重要的是，这些成功的实践揭示了遥感 CD 基础模型的潜力。
>
>
## 🍋🍋2.创新点
* 提出了一种**通用框架（BAN）使基础模型适应CD任务** ，有效地重复使用了基础模型的一般知识，并将其转移到 CD 任务中，此外，作为一个侧面调整框架，BAN 允许有效**调整参数，内存和时间**
* 为了更好的**将一般特征与特定领域/任务的特征进行融合** ，提出了**桥接模块** ，经过跨领域点积注意力，桥接模块可以对通用知识进行重采样，然后将其转化成注入遥感CD领域的特征
* **Bi-TAB模块** 作为与模型无关的概念被提出，它可以是现有的CD模型或手工设计的堆叠块，得益于其**即插即用** 的特性，使得BAN几乎可以适配现有的任务CD模型。
## 🍓🍓3.网络结构
### 🍭3.1模型框架
从图1 中能明显看出，BAN框架的结构：通用基础模型、桥接模块和Bi-TAB。此外通用基础模型的参数是冻结的，其他两个模块的参数是可学习的。
### 🍭3.2网络结构
可以看到，图2中的两张输入影像分别作为图1中框架的输入进行完整2次，类似于孪生网络的结构。其中：
#### 基础模型提取
作为冻结层，其参数是不变的，因此对于两张输入影像来说，是参数共享的骨干网络提取模块，可以同时进行；
#### Bi-TAB
由于基础模型部分被冻结，因能从图像中提取通用信息，这些通用信息不完整，不足以作为为CD任务的输入特征，因此需要Bi-TAB模块这种专门针对特定领域/任务的特征提取模块，虽然其没有指定为某种具体的网络，但是可以指定其为任务现有的CD网络，比如基于CNN和Transformer的模型。如下图3所示的，分别将BiT和ChangeFormer作为Bi-TAB模型。
#### 桥接结构
桥接结构的提出主要是解决2个问题：第一个问题，并非所有的通用特征都是需要的，如何从通用特征中过滤无用信息，选择有价值的信息；第二个问题是通过patch embedding之后具体极低的分辨率，如何对齐两个来源的特征是桥接结构的主要任务。
桥接结构的做法是：针对框架中的两种类型输入：基础模型特征和 特定任务特征，为避免分布不一致的情况，首先使用LN层进行标准化，再使用线性层进行投影。
为了有效地区分通用模型中有价值的特征，我们计算亲和力矩阵
A ∈R HcWc×HfWf
然后，通过计算注意力权重，将注意力权重与输入通用特征进行点乘，得到过滤后的通用特征
在此过程中通用特征被重新采样为 Hc × Wc × Cc，这也解决了比例尺错位问题。具体的桥接结构比较简单，可以用一下公式表示：
### 🍭3.3BAN框架伪代码
### 🍭3.4[损失函数]()
损失函数使用常用的CEloss，计算方式如下：
## 🍂🍂4.实验结果
### 🏆4.1LEVIR-CD数据集可视化结果
### 🏆4.2LEVIR-CD数据集精度对比
### 🏆4.3BANDON数据集可视化对比
### 🏆4.4S2LOOKING数据集精度对比
### 🏆4.5BAN框架与其他CD方法对比
### 🏆4.6LANDSAT-SCD数据集对比
### 🏆4.7BANDON数据集对比
### 🏆4.8WHU-CD数据集上BAN与其他孪生监督CD网络对比
### 🏆4.9参数选择实验
## 🌷🌷5.启发
>
>
> 本文提出了一个**通用框架** （即 BAN），利用大型基础模型的常识，**减少** 现有 CD 模型对**大型标记数据量的依赖** 。 实验结果表明**只需几个额外的可学习参数** ，BAN 就可以有效**提升现有CD方法的性能** ，并使他们能够从更少的样本中更好地学习。
>
>
>
> BAN 中的**基础模型和 Bi-TAB** 都是**模型无关** 的，BAN 具有高度可扩展性，可以受益于更强大的基础模型，从而有助于提升现有CD模型。 更重要的是，**BAN 证实了 CD 任务中基础模型适应的可行性** ，为后续研究提供了研究基础。
>
>
## **整理不易，欢迎一键三连！！！**
## **送你们一条美丽的--分割线--**
🌷🌷🍀🍀🌾🌾🍓🍓🍂🍂🙋🙋🐸🐸🙋🙋💖💖🍌🍌🔔🔔🍉🍉🍭🍭🍋🍋🍇🍇🏆🏆📸📸⛵⛵⭐⭐🍎🍎👍👍🌷🌷全部评论 (0)
还没有任何评论哟~