Transferred Deep Learning-Based Change Detection in Remote Sensing Images

利用深度转移学习技术开展遥感图像变化检测研究（Research on Change Detection in Remote Sensing Images Based on Transferred Deep Learning）论文详解

在深入研究这篇论文之前，可以先简要介绍一下其中涉及的两个相对简单的网络架构。其中第一个是2016年发表于ECCV的一篇名为《Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation》的文章。其架构概述如下：

该网络主要由三个组成部分构成：
第一部分是共有的一支，并负责提取特征。
第二分支向右上方发展，并对源域进行分类。
第三分支向右下方延伸，并与第一支相对应；若此支最终输出与原始输入差异较小，则可认为第一支学成的目标域特征表现有效；当第三支损失函数趋于稳定，则终止整个网络的学习过程。

第二个网络结构是U-net，该论文结构如下：

该模型包含一条（contracting path）收缩通路（下采样操作配合传统的卷积模块）以及一条（expansive path）扩展通路（上采样过程借助转置卷积网络）。总计23个卷积层构成这一架构，在此过程中输入与输出图像尺寸存在差异，并且输出尺寸会小于输入尺寸。

1 基本介绍

1、这是2019发表在Geoscience and Remote Sensing的一篇文章。
2、首先在文章开始，作者阐述了motivation部分，第一个点是说监督的深度神经网络通常已经应用于很多不同的任务中，但是训练具有优越性能的这种深度神经网络需要大量标记数据。 然而，手动标记数据是耗时且昂贵的，尤其是对于遥感中的任务，例如变化检测。第二个点是作者又考虑到做迁移学习时源域与目标域的特征分布是不同的，这个缺点就会导致直接用源域训练的网络不能很好的适应到目标域中，因此作者引入了深度迁移学习的方法去解决这两个问题。
3、主要贡献
1）提出了一种转基于深度迁移学习的变化检测框架，其中未标记的图像从相关的标记图像中获得额外的知识。
2）在预训练阶段，提出重构检测网络（RDN）同时学习源域的变化检测任务和目标域（差分图像）的重建任务。 它可以从功能级别缓解源域和目标域之间的分布差异。该贡献的主要思想是来自2016年发表在ECCV的重构分类文章。
3）在fine-tune阶段，提出了基于区域和边界的策略来选择具有通过无监督方法正确分类的高可能性的像素。

2方法

2.1主要结构

这个网络也可视为由两大部分构成：第一部分为预训练阶段，第二部分为fine-tune阶段。在预训练阶段中，可划分为三个环节：针对源域变化特征的检测、目标域差异图像重建以及前两个小模块的整体融合（即作者所称的重构检测网络RDN）。在RDN网络中采用U-Net架构，在这一过程中，作者提出通过合并一对patch来评估该网络架构模式。完成预训练工作后，则进入对整个网络进行微调优化的过程。

2.2 具体训练过程

预训练阶段 包含三个阶段：首先通过source data对其中一部分网络进行变化检测；其次通过目标域数据对另一部分网络进行重构；最后经过整个RDN的学习过程完成整体构建；其损失函数定义如下：
1）变化检测网络的loss：
L^{s}=-\sum_{i=1}^{N_{s}}\sum_{i=1}^{m}\sum_{j=1}^{m}l_{bce}(y_{k}^{s}(i,j),ŷ_k^s (i,j))
其中ŷ_ k^s = f(θs ) (g(θ_c )(x_k^s ))表示检测网络发生的变化情况；参数\theta_{s}、\theta_{c}以及l_{bce}分别代表共享参数块、变化分支参数以及二进制交叉熵损失函数。

重构网络loss：
L^t = -\sum_{k=1}^{N_t}\sum_{i=1}^m\sum_{j=1}^m \text{quadratic\_loss}(r_k(t,i,j), \tilde{r}_k(t,i,j))
其中r(i, j)代表基于log-ratio计算得到的目标域差异图像DI，
\tilde{r}(i,j)即为重构后的版本，
\text{quadratic\_loss}称为目标域中每个像素点对应的平方损失函数。

3）该网络的整体损失：

L^{pre}=αL^{s}+(1-α)L^{t}

其中α被设定为一个常数，在平衡变化检测与重建任务之间的相对重要性上起着重要作用。当重构网络损失达到稳定状态时，则认为RDN训练完成。具体训练步骤：

在fine-tune阶段中, 作者提出了两种基于无监督学习的策略来选择具有正确分类标签的像素. 其中第一种策略是一种基于区域划分的方法, 这一部分较为晦涩难以理解; 我的观点是该策略可能用于验证初始CD映射的质量. 在具体实施过程中, 作者将每个区域内的像素划分为不连接的小块, 并从X1和X2中裁剪出相应的小块A1和A2. 为了评估这些小块的空间变化情况, 作者列出了两个公式:
VAR_1=|log\frac{mean(A_c,1)}{mean(A_u,1)} |
当var1值较小时, 则表明A1区域内单一地物覆盖的概率较高. 同理, var2值较小则表示A2区域内单一地物覆盖的概率较高. 当var1和var2均较小时, 表明地面物体在A1和A2中都没有发生变化. 在这种情况下, 我们需要进一步比较这两个小块. 如果两者之间的差异较大, 则认为两者发生了显著变化; 否则则认为两者之间没有发生明显的变化.

第二个策略是通过边界选择来确定一个中心像素，在其周围存在变动或稳定的区域进行分类。具体而言，在接近发生变化区域的像素被归类为发生变化的一类，在与未发生变化区域相邻的位置则被划分为未发生变动的一类。

3实验部分

在实验部分中进行深入研究工作。选择作为源域的数据为 Ottawa, Bern 和 de Gaulle airport 数据集。将 Farmland, River, Coastline 和 Mexico 数据集 作为目标域的数据使用。

作者首先进行了Patch尺寸设置为m以及基于Spatial Shift针对h参数的实验研究。最后确定Patch尺寸设置为28，在训练阶段采用参数值为2，在测试阶段采用参数值为4以获得最佳性能表现。

第二个是作者做了网络层数的实验，作者选择的9层。

在第三个实验中,作者对何时进行patch整合展开了相关研究,并在该部分将整个流程划分为早期阶段,中期阶段和后期阶段.

a代表早期阶段，在初期阶段就进行了图像拼接；b处于中期阶段其特点是分别提取特征并在上采样处理前完成拼接操作；c代表后期阶段是在深度网络的后部区域之前进行图像拼接；在这部分作者进一步探讨了中间和后期前期网络结构参数是否共享的可能性；得出以下实验结果：

作者进一步对渥太华数据集进行了划分工作，并将其划分为两个部分：upper和lower两个区域。具体而言，在进行分类任务时会采用upper区域的数据作为训练样本；而另一个lower区域则被用于测试阶段。随后，在利用这两个区域的变化信息进行图像拼接，并整合得到整体效果的整体框架下完成了后续开发工作。随后，在目标数据集上进行了变化检测实验的结果展示。