变化检测综述：Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges

这篇论文《基于AI的变化检测》系统综述了遥感中基于人工智能（AI）的变更是检测技术的最新进展。以下是对论文内容的总结和分析：
摘要
论文系统综述了基于AI的变更是检测技术，涵盖了监督学习、无监督学习和半监督学习的最新方法。这些方法结合了深度学习、无监督学习、强化学习等技术，用于处理复杂和高维遥感数据。论文还讨论了这些方法在城市化、资源与环境、自然灾害等领域的应用，并分析了当前面临的挑战和未来的研究方向。
引言
传统基于统计的方法在处理复杂和高维遥感数据时表现不佳，而基于AI的方法在监督学习、无监督学习和强化学习中表现更好。AI方法在特征提取、复杂数据建模和无监督学习方面具有优势，但缺乏对真实场景的适应性，需要进一步研究以提高其适应性和鲁棒性。
基于AI的变化检测方法
监督学习
监督学习包括基于分类器、聚类方法、基于映射转换的方法和集成方法。

• 基于分类器：如逻辑斯蒂回归、决策树、随机森林、支持向量机等，用于分类变化区域。
• 聚类方法：如K均值、层次聚类、密度基于方法，用于无监督地识别变化区域。
• 基于映射转换的方法：如AI映射网络（AI-ML）、无监督的AI映射网络（U-ML）和半监督映射网络（S-ML），用于从一个数据集到另一个数据集的映射。
• 集成方法：如多源集成、多模型集成和多实例集成，用于提高检测的准确性和鲁棒性。
  无监督学习
  无监督学习包括聚类、无监督的

基于人工智能的变故检测：现状与挑战

基于人工智能变化检测：最先进的和挑战

Abstract

基于遥感数据的变化检测被视为评估地球表面变化的重要手段，并在城市规划、环境监测、农业调查、灾害评估以及地图更新等领域展现出广泛的应用。近年来，人工智能技术已成为开发创新变化检测方法的主要研究方向。尽管一些研究者声称基于AI的变化检测方法在性能上优于传统方法，但目前尚不清楚这些方法如何立即显著提升变化检测的效率，以及在多大程度上能显著提升变化检测的性能。本综述重点介绍当前AI驱动的变化检测技术的最新进展及其应用前景，同时深入探讨该技术面临的主要挑战。具体而言，首先阐述基于AI的变化检测实现过程。接着，展示来自不同传感器的数据集，包括光学遥感数据、合成孔径雷达（SAR）数据、街景图像以及异构数据的组合，并列出了可获得的公开数据集。系统性地评估和分析了基于AI的变化检测方法的通用框架，进一步探讨了在无监督学习场景下AI在变化检测中的应用。随后，描述了在变化检测中常用的AI网络架构。从实际应用的角度出发，基于AI的变化检测方法被分类为若干适用性领域。最后，讨论了AI在变化检测领域的主要挑战与未来发展方向，包括（a）异构大数据的处理效率、（b）无监督学习技术的改进、（c）AI技术的可靠性问题。本综述旨在为研究人员提供对该领域最新进展的全面了解。

1. Introduction

改变检测是通过不同时间的观测来识别物体或现象状态的差异的过程[1]。在地球观测领域，它被视为一个关键问题，并且在过去的几十年中得到了广泛的研究。多时间RS数据，包括卫星图像和航空图像，提供了丰富的信息，以识别一段时间内特定区域的土地利用和覆盖（LULC）变化。在多个应用领域中具有重要意义，包括但不限于城市规划、环境监测、农业调查、灾害评估以及地图更新。地球观测技术的持续发展带来了高光谱空间-时间分辨率的海量RS数据，这些数据为变革检测技术带来了新的挑战，推动了技术的进步。为了应对更精细的空间和光谱分辨率图像带来的挑战，研究者们提出了多种变革检测方法。这些方法大致可分为两类：传统方法和基于人工智能的方法。

现有研究主要集中在多时间超光谱图像（HSIS）和高空间分辨率图像中的变化检测技术设计[1-4]。他们审查的技术主要为传统的变化检测方法，可归纳为以下几类：
视觉分析：通过手动对比生成变更图，可依据专家知识获得高精度结果，但耗时且劳动强度较大;
基于代数的方法：通过对多时间数据执行代数运算或转换来生成变化图，例如图像差分、图像回归、图像比值及变化向量分析（CV A）;
变换方法：数据缩减技术，包括主成分分析（PCA）、Karhunen-Loève变换（KT）、多变量变化检测（MAD）、Gramm-Schmidt正交化（GS）及卡方检验（Chi-Square），用于去除相关信息并突出显示多时间数据的方差;
分类方法：通过比较多个分类映射（即，分类后对比）或使用训练分类器直接对多时段数据进行分类的更改检测;
高级模型：高级模型，如Li-Strahler反射模型、光谱混合模型及生物物理学参数方法，可将多时间数据的光谱反射率值转换为物理基础的参数或分数以实现变化分析，具有直观的物理意义但操作复杂耗时;
其他方法：混合方法及其他，例如基于知识库的空间统计分析、集成的地理信息系统（GIS）及Remote Sensing（RS）方法。

基于检测单元，这些方法不仅限于像素级、特征级、对象级别，还延伸至三维（3D）对象级别进行分类，并在文献中得到系统性评估[5-7]。随着计算机技术的快速发展，传统的变革检测方法已转向集成人工智能技术。在传统变化检测流程和基于AI的框架中，第一步是数据采集，其目标是生成适用于各种应用的变化检测图;在数据准备阶段，传统方法通常包含两个关键步骤：均质化过程和变化检测过程，而基于AI的方法则需要额外的训练集生成过程和用于变化检测的AI模型训练过程。显然，基于AI的方法其关键组成部分在于AI技术的应用。

AI技术，也称为机器智能，能够在多种数据处理任务中展现出更优的性能水平。其核心在于系统对外部数据的准确理解和学习能力，以通过灵活适应的方式达成具体目标和任务的实现[8]。本文着重探讨了当前最前沿的深度学习方法，新型网络架构以及智能机器学习技术的进展。这些方法灵感来源于生物系统，具有显著的智能化优势。然而，由于其相对较低的智能化水平和现有文献中的评论[7]，传统机器学习方法（如支持向量机和决策树）在本次研究中尚未被考虑。

许多新型集成AI技术已被成功应用，显著提升了变化检测的准确性和自动化水平。通过大范围感知系统（BRS）研究发现，基于人工智能的变异性检测方法显著优于传统的特征提取方法[9,10]。该技术凭借强大的建模与学习能力，能够更准确地模拟图像对象与其现实世界地理特征之间的关系，从而更可靠地检测出实际变化信息。在实际应用中，该方法通常基于多时间分辨率数据的空间上下文信息，提取分层特征表示，并通过这些高级特征表示实现了更高效、更可靠的变异性检测任务。

综述AI的大多数现有研究均聚焦于对其算法发展进行整体评价[11]，或对特定热场进行深入RS应用分析[12]。现有文献中，[13]一文深入探讨了RS社区中深度学习的理论框架、工具开发和面临的挑战。值得注意的是，现有综述文章多基于卢比AI技术的理论框架和应用实践。然而，在RS数据变化检测领域，针对应用于多源数据的AI方法的系统性分析仍显不足。本研究致力于系统性分析AI技术在RS数据变化检测处理中的应用。其重点在于多时间数据中变化检测的前沿技术、应用实践及面临的挑战。本研究的主要贡献体现在以下几个方面：首先，系统性分析了AI在多源数据变化检测中的最新进展；其次，深入探讨了相关技术在实际应用中的可行方案；最后，明确了研究中面临的关键技术瓶颈。

1.阐述了基于AI的变更检测实施的具体流程，我们归纳了若干有助于初学者理解该研究领域常见实施策略。
2.详细阐述了AI中用于变更检测的不同传感器数据，其中包括RS（光学遥感）数据、SAR（散射近红外）数据、街道视图图像以及组合异构数据。同时，我们提供了annotated的可访问数据集，该数据集可作为训练和评估未来变更检测方法基准的依据。
3.通过系统地回顾和分析基于AI的变更检测方法，我们归纳了通用框架，这有助于未来设计变更检测方法。此外，我们探讨了基于AI的变化检测中使用的无监督方案，以解决实际应用中缺乏训练样本的问题。
4.分析了AI中常用的网络架构，探讨了其适用性，这有助于在实际应用中选择合适的AI模型。
5.我们探讨了AI在多个领域的应用，并将其系统地分类为不同的数据类型，这有助于相关领域的研究者找到相应的AI变化检测方法。
6.探讨了AI在三个主要研究方向的挑战与前景，分别为异构大数据处理、无监督学习以及AI的可靠性，这些讨论为未来的研究提供了有价值的参考。

本文其余部分的结构安排如下。第二部分详细阐述了基于AI的变更检测实现方案。第三部分列出了用于变更检测的数据来源。第四和第五部分分别阐述了AI框架的通用结构及其典型网络的性能评估。第六部分总结了这些方法在实际应用中的各种应用场景。第七部分讨论了基于AI的变更检测所面临的主要挑战及其潜在的机遇。第八部分得出了本综述的主要结论。

2.基于AI的变化检测实施过程

图1展示了基于AI的变故检测的通用流程。核心在于获取高效率训练的AI模型。具体而言，如图2所示，基于AI的变更检测实现过程主要包括四个主要步骤：首先，数据预处理是实现这一目标的关键步骤。其次，通过运用深度学习算法对输入数据进行分析。最后，系统会根据分析结果生成相应的告报。

在数据采集阶段，为了确保数据质量，通常需要进行均质化处理。几何和辐射矫正是两种常用的方法[14,15]。其中，几何对准方法旨在通过记录或共同记录来对多个数据集进行几何校准，确保不同时间段数据的对应关系。然而，这种方法仅在两个时间段的数据同时覆盖时，才能有效进行比较分析[16]。此外，辐射校正方法旨在消除传感器数字化过程以及大气吸收和散射效应导致的辐射或反射差异[4]，从而减少由这些误差引起的检测变化带来的误报。对于异构数据，可以设计特殊的AI模型结构来实现变化检测（参见第4.1.2节）

2. 训练集生成：为了构建AI模型，必须先创建一个大规模高质量的训练数据集，以便使算法能够识别特定的模式或结果序列。通过采用多种技术手段（如手动注释[17]、使用主题数据[19]）对多个时段的数据进行标记或注释，可以简化AI模型的学习过程，使其更容易掌握变化的特征对象。图2展示了用于构建变更检测系统的注释示例，该示例由两个时段的RS图像组成，并在像素级别上标注了构建变化的地形真理。基于先验知识的监督学习方法可以在此基础上训练AI模型。为了缓解数据不足的问题，数据增强技术是一种非常有效的策略，例如水平翻转或垂直翻转、旋转、尺度变化、裁剪、平移或增加噪声等操作，这些方法可以显著提升训练数据的多样性，从而无需额外收集新数据即可有效训练模型；

模型训练：在生成训练集后，通常会根据样本数量或地理区域的分布，将数据划分为两个数据集：一个是用于AI模型训练的训练集，另一个是用于评估训练过程中的准确性的测试集[20]。训练与测试过程是交替进行的。在模型训练过程中，通过基于学习标准进行优化调整，这可以采用深度学习中的损失函数（例如，软MAX损失[21]、对比损失[22]、欧几里得损失[23]或交叉熵损失[24]）。通过监控训练过程和测试精度的变化，可以评估AI模型的收敛状态，从而辅助调整其超参数（如学习率），并判断模型性能是否达到最佳状态（即，终止）条件。

模型服务：部署训练有素的AI模型可以更高效地自动为实际应用程序生成更改映射。此外，这有助于验证模型的泛化能力，是评估基于AI的变化检测技术的实用性的重要评估指标。

上述步骤涵盖了基于AI的变化检测的一般实现流程，然而，AI模型的结构呈现多样化特征，在设计AI模型时，需要综合考虑不同应用场景和训练数据的需求，这将在后续章节中进行详细阐述。值得注意的是，现有的成熟框架，如Tensorflow [25]、Keras [26]、Pytorch [27]和Caffe [28]，为研究人员提供了更高效的AI模型设计、训练与部署途径，并在附录中提供了详细的使用说明。

3.用于改变检测的数据源

随着数据采集平台的不断发展，卫星、无人机以及地面调查车辆等设备产生的巨大多源遥感（RS）数据，为土地变革监测带来了新的应用需求。值得注意的是，这些来自不同传感器的高空间分辨率和高时间分辨率的遥感数据，要求我们开发更加自动化和高效的变景检测方法，以降低人工解释的成本。通过总结不同变景检测方法所依赖的数据类型，我们可以更深入地分析现有变景检测技术的适用性。在本文中，变景检测所涉及的数据类型主要包括光学遥感图像、合成孔径雷达（SAR）图像以及街道景物图像。值得注意的是，街道景物图像通常不被视为遥感数据，而更多地作为辅助数据[29-31]存在，因此在遥感社区中并不常见。尽管如此，变景检测的相关思路仍然值得探讨。在本文中，我们将街道景物图像视为一种广泛应用于遥感数据的感知与审查手段，因为它们能够提供街道级别的观测数据。此外，本文还对多种异构数据进行变景检测方法的总结与分析。不同数据源的示例如图3所示。其中，光学遥感图像和SAR图像分别基于无源和有源传感器获取，覆盖了不同的电磁频谱范围。其他数据源，如数字高程模型（DEM）、地理信息系统（GIS）数据以及点云数据等，均可提供重要的补充属性。遥感平台在获取大面积空间区域信息方面具有显著优势，但其时间分辨率相对较低。而街道景物图像则能够提供街道级别的几乎实时信息。关于光学遥感图像、SAR图像、街道景物图像以及异构数据的详细说明，请参阅第3.1节。此外，第3.2节列出了现有的变景检测数据集，这些数据集可作为未来研究的基础标准。

（数据集待补充）

4.总基于AI的变更检测框架

该检测任务的输入形式是多时间数据，在两个或多个时间段内呈现同质性或异构性。基于双时态数据的深度特征提取或潜在特征表示的学习过程，可以系统性地构建基于AI的变化检测框架，包括单流、双流以及多模型集成策略。此外，我们进一步探讨了这些框架中的无监督规划问题，这在人工智能领域既是重要研究方向，也是极具挑战性的课题。

4.1 单流框架

基于人工智能的变异性检测，主要分为两类的单向架构，如图5所示，这些架构主要包括直接分类架构和映射转换基架构。

它们通常依赖核心AI模型来实现变化检测，因此可以被视为单流程架构。值得注意的是，在实践中，一些研究者基于这些结构进行了改进，以满足特定的变化检测需求，并在下文进行详细阐述。

4.1.1 直接分类结构

直接分类方法通过各种数据处理方法将多个数据融合到中间数据集中的多个数据点，随后采用单个AI分类器完成特征学习并实现多分类任务。具体而言，如图5A所示，该结构将变化检测任务转化为分类任务，也被视为双通道结构[108,147]。其核心问题在于数据融合方法的选择以及基于AI的分类器设计。

为了整合多时段数据以获取融合数据，两种主要方法正在被采用：变化分析方法和直接连接方法。调整分析策略，例如基于CV A [47]的方法，通过日志比运算符的差异[18,148]或改变措施[103,149]进行处理，可以直接提取多模型数据中的变化强度信息（即差异数据），从而突出显示变化信息并促进变更检测。直接级联方法能够保留多时段数据的全部信息，变化信息则由后续的分类器进行提取。通常情况下，一维输入数据采用直接连接方式[24,42,101,150-152]，而二维数据则采用通道连接方式[111,112,153,154]。此外，通过融合原始数据与差异数据[21,99]，可以实现同时突出差异信息并保持完整信息的目的。

分类器借助AI技术将融合数据划分为两类（一类是发生改变，另一类是保持不变）或多种类别（每类对应不同的更改情况）[77]。其性能与相关训练数据共同构成了获得满意变化地图的基础。详细信息将在第5节中详细阐述。

4.1.2 基于转换的结构

基于映射转换的架构设计通常用于分析不同域或异构数据间的演变特征。其核心理念是通过AI方法学习特征映射关系，并在单一数据集上实施功能转换，如图5B所示。这种转换关系对应于另一种数据集的特征表达。简单来说，该方法旨在将数据要素空间转换为特征空间。通过在两个数据集间执行相关特征分析，可以构建数据演变图。在文献[16]中，映射神经网络（MNN）被设计用于学习多空间分辨率数据间的映射函数，进而实现特征相似性分析以构建变化图。该方法还成功应用于SAR图像与光学图像间的差异检测。在文献[60]中，作者采用人工神经网络（ANN）实现辐射归一化处理，并在统一辐射条件下检测周期性数据变化。此外，基于映射变换的思想，学者们已提出多种改进型架构，用于检测异构数据间的演变特征或不同域数据间的差异性变化[10]。

4.2 双流框架

基于变化检测任务的主要研究方法，主要基于两个数据点，即两个输入，双流结构在变化检测中非常常见，并且能够汇总为三种类型，如图6所示。它们包括暹罗结构，基于迁移学习的架构以及分类后处理架构。

4.2.1 暹罗结构

如图6a所示，暹罗结构通常由两个结构相同的子网组成，即，特征提取器，其将输入的两个时段数据转换为特征映射。最后，通过使用变更分析（即Decision者）获得更改图。这种结构的主要优点是其两个子网直接进行训练，同时处理输入的两期数据的深度特征。

根据子网的重量是否共享，这主要分为纯暹罗结构[22,68,94,117,155,156,156]和伪暹罗结构[79,109,157,158]。主要区别在于，前子网通过共享权重提取两句话数据的共同特征，而后一子网则分别提取每句话具有相应输入数据，导致可训练参数和复杂性的数量增加，同时也在灵活性上有所提升。同样，[159]的作者设计了一个三维网络，该网络由三个子网构成，其中通过共享权重来实现对变化的检测。

尽管这种架构使特征提取器能够通过标记样本的监督式训练直接获取深度特征，但无监督式的训练仍然面临诸多挑战。一种可行的解决方案是采用无监督的方式单独训练特征提取器[105-107,160]。这些预先经过训练的特征提取器为后续调整原始数据（即，进行特征映射）提供了潜在的表示基础。在生成特征映射差异的方法上，可以采用通道串联直接分类输出特征映射，或者通过特定距离度量[9]生成差异图，随后利用这些差异图进行进一步的分析[162,163]。为了有效保留多尺度的调整信息，可以将不同深度的特征映射进行融合连接，从而实现更精确的特征检测，这种方法表现出良好的效果。

4.2.2 基于迁移学习的结构

该研究开发了一种基于迁移学习的结构，以缓解数据不足问题并优化训练过程。在源域中通过训练获取低至MID层的特征，这些特征可被有效迁移至目标域以实现更优结果[13]。作为特征提取器的预训练AI模型被用于生成两个时间段的特征映射，且这两个时间段的特征提取器可以完全相同，如图6B所示。预训练模型能否准确提取输入数据的深度特征图或潜在特征表示，将直接影响检测任务的性能表现。

转移学习的结构通常包含两个主要训练阶段，即深度特征学习阶段和微调阶段。在深度特征学习阶段，通常通过监督学习训练AI模型进行预训练，其目标是利用其他领域的标记样本数据进行学习[67,110,168]。微调阶段为可选环节，在此阶段，可进行微调训练或附加分类器的训练，这些操作通常需要少量标记的样本数据[90,140]。因此，通过训练得到的分类器可以直接获得变化图。在未进行微调的情况下，可以通过分析变化周期的两个特征映射，获得最终的变化映射。例如，可以采用低秩分析[173]、CV A[72]、聚类[73,82]以及阈值[119,174]等方法。这表明，进一步的训练无需额外增加标记样本的数量。此外，基于转移学习的思想，训练好的AI模型也可用于生成训练样本或掩模，从而实现无监督的学习方案[78]，这是一项非常实用的策略。

4.2.3 分类后结构

如图6c所示，分类后结构由两个分类器构成，通常可转换为分类任务并采用关节或独立方式进行训练。每个时段的数据均对应一个分类映射，通过比较这些映射可以识别出具有变化方向的模式。然而，这些方法的检测效果的准确性主要取决于分类器的性能。

已有大量研究[43,44,52,56,61,70,75,76,131,175,176]表明，人工智能技术显著提升了陆地覆盖分类的准确性。其结果可进一步应用于改变检测。通过将直接几何或光谱比较转换为标签变化，分类后的结构可被视为非常一般且实际的结构，并提供了一种类型的变化矩阵。具有良好的适应性，该方法可处理在不同获取条件（如照明条件、传感器姿态、季节等）或不同传感器下获取的数据。基于AI的分类器的监督训练需要大量训练样本，可由现有的地理信息系统（GIS）数据或主题地图生成[128,177]。

4.3 多模型集成结构

许多研究已经融合了多种先进的AI技术，显著提升了变化检测的性能。由于结构复杂程度较高，仅对具有代表性的结构进行了简要说明，如图7所示。

多模型集成框架是一种混合结构，与双流结构相似，但整合了更多类型的AI模型，并且在分阶段进行训练时表现出更高的灵活性。变化检测作为一种时空分析方法，通过利用基于AI的特征提取器获取空间光谱特征，结合时间模块的AI分类器来建立时间依赖性，从而使得整个变化检测过程在性能提升方面更具挑战性。此外，这种混合结构特别适用于无监督变化检测[100]和物体级变化检测[87]，从而使得整个变化检测过程在提高性能时更复杂。

4.4 更改检测框架中的无监督计划

基于AI的变更检测框架一般包括特征提取器或分类器，通常需要同时进行监督型和无监督型的训练。由于获取了大量标注的监督训练样本，这一过程往往耗时且需要大量的人力资源投入，因此研究者们已开始尝试采用无监督或半监督的方法来实现基于AI的变化检测。如第4.2.2节所述，迁移学习能够有效减少甚至消除对训练样本的需求，但这些方法并非完全无监督，因为它们仍需从其他领域获取样本。此外，最常用的无监督方案是通过改变分析方法和采样策略来选择绝对变化或/和不变作为AI模型的训练样本。其流程图如图8A所示。

该方案包含两个变化检测阶段。第一阶段，即预分散，通常较为简单，但值得深入学习，且大多数采用无监督方法，例如k-means [162]、模糊C-means（FCM）[90,99,1111,151,160,165,178-181]、空间FCM [102,154]，以及分级FCM [21,113]。在某些作品中，这种阶段通常通过阈值分析[18,39]、显着性分析[78]，或精心设计的规则[38,83,84,124,148,182,183]来实现。当获得高置信度或不变的样本后，可以采用监督方式训练AI模型，以便在第二阶段进行改变检测。此外，另一个常用的无监督方案基于潜在的变化图，如图8B所示。

在无监督的变化检测中，通常无需依赖标记的训练样本。然而，这种缺乏先验知识的特性往往限制了其在依赖语义信息的变化检测中的应用。弱监督和半监督方案则通过使用标记不准确或信息不足的样本来构建其先验知识体系。具体而言，该研究采用了标签聚类技术[97]，结合迭代优化方法[58,185]，并借鉴深度生成模型[186]（参考第5.6节的详细讨论）来实现对现有方法的系统性改进。同时，生成式策略[156]和新型成本函数[36,187]也被成功应用于该领域。

5. AI中的主流网络

本节概述了基于AI的通用变更检测框架，详细探讨了其特征提取器和分类器的机制。特别聚焦于AI在变更检测中的相关术语和概念，揭示了具有革命性意义的网络架构设计。文中提到的网络包括自编码器（AEs）、深度信念网络（DBNs）、卷积神经网络（CNNs）、 recurrent神经网络（RNNs）、脉冲耦合神经网络（PCNs）以及生成对抗网络（GANs），如图9所示。此外，还简要介绍了其他相关网络和方法。

5.1 自编码

如图9A所示，自编码器的结构框架主要由编码器和解码器两个主要组件构成。编码器部分对输入向量X进行编码，以获取潜在特征H（x）。其主要功能可表示为：h（x）= f（wx + b）。解码器部分可以表示为ex = f（w0h（x）+ b0），其主要功能是通过重建潜在特征，输出结果应尽可能接近原始输入向量X。其中，w和b均为可训练参数，可通过无监督学习方法进行获取。从直观上讲，自编码器的作用类似于主成分分析（PCA）方法，但其基于神经网络的强大特征学习能力，显著提升了性能表现。因此，自编码器常被用于将复杂的检测任务转化为特征提取器。在实际应用中，常用的自编码器模型包括堆叠型自编码器[97,98,104]、去噪堆叠型自编码器[16,101,106,121-123,151,160,188]、Fisher自编码器[189]、稀疏型自编码器[80]、去噪型自编码器[102]、模糊型自编码器[105]以及反射型自编码器[99,103]。这些变体通过扩展像素邻域至向量形式，有效保留了空间信息；而基于卷积核的自编码器则直接实现了卷积操作[170,190]。基于其独特的特性，自编码器在无监督变化检测方面展现出良好的应用效果。

5.2 深度信仰网络

DBN是一种用于概率重建的生成图形模型，通过叠加多个简单的无监督网络实现输入的重构。这些网络通常采用受限的Boltzmann机（RBMS）或其它无监督学习架构（如AES）进行构建。如图9B所示，DBN由多个隐藏单元构成，这些单元之间通过层间连接形成网络结构。值得注意的是，DBN在同层内的单元并未相互连接，而每个隐藏层则作为下一层次的可见层使用。作为特征提取器，DBN能够通过逐层贪婪训练的方式进行高效学习，并被广泛应用于多种无监督变化检测方法中[23,37,157,183]。相比之下，深度Boltzmann机（DBM）作为一种无向的图形模型同样具备类似的重建能力，但其结构与DBN存在显著差异[182]。

5.3 卷积神经网络

基于是否考虑空间关系的区分，深神经网络提取的深度特征可分为两类。一类是基于一维特征数据的输入（例如，DBN和AES）。它们的输入是基于输出完整空间信息的输入图像补丁转换的列向量。另一类是基于二维特征数据的输入，这种类型特别考虑了空间关系，其典型代表是CNN。例如，如图9C所示，该模型通过局部连接和共享权重的分层结构来检测特征，并且其机制更贴近人类视觉的感知方式。对于不熟悉CNN的读者，Goodfellow等人的一本很棒的著作可以在[191]中找到。

基于其强大的自动学习深度特征，CNN在多种图像处理任务中展现出令人满意的性能。许多经典的CNN及其改进版本被用作目标检测的分类器或特征提取器。然而，现有文献中大多数网络架构是新设计的，并且通常由输入层和一系列卷积层、池化层、激活函数和全连接层构成。为了实现特定功能，CNN集成了一些特殊结构以改进检测。例如，基于计算机视觉的区域CNN（R-CNN）包含一个区域-提议结构，用于预测目标区域[87,196,197]。PCANet通过选择PCA滤波器银行的卷积滤波器，能够有效降低斑点噪声的影响，并已应用于SAR图像的变异性检测[178,180]。最近的研究引入了无监督的内核PCA卷积，用于从RS图像中提取具有代表性的空间光谱特征[163]。

总体而言，CNN的应用使得改变检测技术的有效性达到了现有水平。然而，现有技术中缺乏系统的方法来设计和/或训练网络，这已成为RS领域的一个长期挑战。

值得注意的是，改变检测的输入包括两个或更多个数据段，这相当于将改变检测任务转换为直接从多个时段序列数据中提取改变信息的过程。其中，输入为序列数据的存储网络，RNN模型非常适合这种情况。如图9D所示，其核心结构可以看作是一条可展开的链条，依次连接的单元即RNN细胞。每个RNN单元具有两个输入：一个是当前时间步的输入数据XT，用于实时更新状态；另一个是上一时间步的隐藏层状态HT-1，用于保持状态信息。值得注意的是，所有时间步共享相同的参数集F。

5.4 循环神经网络

长短时记忆网络（LSTM），作为一种特殊的循环神经网络（RNN），能够在长时间训练期间有效缓解梯度消失和梯度爆炸问题。这种独特的RNN结构已被广泛应用于变变更检测任务中的时间模块（参见第4.3节）[14,38,53,64,74]。在文献[51]中，作者采用了优化的LSTM网络架构，以捕获和记录多时间尺度RS数据的变化信息。值得注意的是，经过训练的模型不仅能够处理当前数据域，还能有效迁移至其他数据域，这体现了其强大的概括能力。此外，在文献[52]中，基于相似的思想，即知识迁移，作者提出了一个基于RNN的框架，用于检测四个城市年城市动态的变化。这些方法有助于解决城市变革长期检测中所面临的时间谱差异问题以及样本不足的问题。

5.5 脉冲耦合神经网络

PCNN是一种基于哺乳动物视觉皮层的仿生神经网络。与传统神经网络不同，它无需经过学习和训练阶段即可有效提取来自高度复杂背景的信息，这表明其具有无监督学习特性并可便捷地用于特征提取。如图9E所示，其主要组成部分包括接收字段、调制字段和脉冲发生器。PCNN接收二维输入图像，每个神经元对应图像中的一个像素。每个像素的值作为神经元的外部刺激，同时相邻神经元提供局部刺激。外部刺激与局部刺激在调制区域和脉冲发生器中结合，生成脉冲输出。随着迭代次数的增加，PCNN生成可用于图像分割和特征提取[198]的脉冲序列，并在检测领域也有广泛应用[54,66,71,85,124,199-201]。

5.6 生成的对抗网络

GAN（生成对抗网络）采用了一种基于两个神经网络的算法架构，即生成器和鉴别器。这种架构在对抗中相互竞争，以实现最佳生成模型和鉴别模型的平衡[202]，如图9f所示。生成器通过为鉴别器提供合理的数据样本进行负训练，而鉴别器则通过将假数据与真实数据区分开来提升鉴别能力。值得注意的是，即使仅有少量标记数据（即实际数据），该方法也能有效训练出性能优异的识别模型以实现异常检测[17]。与传统的基于随机高斯噪声的假数据生成方法[83]不同，[203]的作者采用了基于卷积神经网络（CNN）的生成器，通过联合分布的两个周期数据生成假差异图，从而降低了对影响网络的敏感像素的敏感性。在[204]中，作者设计了一种称为W-Net的生成器，通过减少网络参数来提高训练效率，并利用大量手动标注的数据来增强结果的可靠性。更新的研究工作[127]提出了条件GaN（Conditional GAN），实现了异构数据的变化检测。该方法通过将异构数据映射到相同的特征空间，并直接比较来获得变化映射。类似地，[126]中采用了耦合翻译网络。为了实现山体滑坡的映射检测，[93]的作者开发了一个映射发生器，将Preand Landslide图像对转换为同一域，随后采用暹罗网络进行滑坡变化检测。

为了实现一个性能良好的GaN，需要合理设计损失函数并采用科学的训练策略；如果不进行这些设计，可能会导致结果令人不 satisfaction。此外，确保网络的可靠性需要依赖实际数据；这些挑战在许多实际应用中尤为突出。

5.7其他人工神经网络和AI方法

在AI领域，存在多种人工神经网络模型，这些结构被广泛应用于改变检测任务中。这些主流网络结构包括反传播网络、多层感知机（MLP）以及自组织地图（SOM）网络等。值得注意的是，这些网络结构由于其浅的网络结构，不需要大量样本数据即可学习深度神经网络中的高级抽象特征。其训练过程相对简单，且计算需求较低，因此在实际应用中也得到了广泛的应用。由于这些网络结构可以被视为传统的机器学习技术，因此在现有研究中，我们不会对它们进行更详细的分析。

除了神经网络外，其他AI技术也可实现变化检测。最近，字典学习被广泛采用，它通过从数据中学习内部特征表示[141,176,224,225]，与AES类似。基于蜂窝行为的胞物自动机（CA），作为空间和时间分立模型，有助于模拟LULC的未来演变，并预测城市空间扩展[227]。这些AI技术的开发显著促进了改变检测研究的发展，有助于构建更加自动化、智能化和精确化的解决方案，以满足多领域需求。

6. 应用程序

在实际应用场景中，基于更新信息，变更映射的最终结果被划分为四类类型，具体包括二进制映射、单级映射、从到映射和实例映射，如图10所示。

二进制映射采用1和0表示变化，没有发生任何变化。它仅包含任何更改，无法为已更改的地面对象提供其他类型的信息。单级地图仅提供单型更改信息，用于指示特定类型的地面对象的外观和消失。例如，基于变化检测构建的结果，如建筑物的增减，可用于城市管理[86]。从到映射则传递更改传输信息，表明地面对象从一种类型转换为另一种类型，这些类型由分类器[128]确定。更改实例映射为每个更改实例设定边界，这些边界可能基于变化检测的结果[89]。通过训练的AI模型，可以生成这些变化检测映射，并在多个应用中应用。为了展示未来潜在的应用需求和基于AI的变更检测技术的可能性，本节总结了各应用领域的尝试和工作。基于AI的变更检测技术显著推动了多种应用，并提升了自动化和智能化水平。基于AI的大多数更改检测生成二进制映射，这些研究集中于算法本身，无需考虑特定的应用程序。因此，可以认为它们通常适用于LULC变化检测。在本节中，我们聚焦于与特定应用程序相关的技术，这些技术可大致分为四类：

•城市背景：城市扩张进程，公共空间管理任务，建筑变革检测任务;
•资源与环境：以人力为基础的环境变化，以水力为基础的环境变化，海冰现象，地表水体，森林生态监测;
•自然灾害：山体滑坡的空间分布及其损害程度评估;
•天文学：行星表面特征。

城市化是由自然土地覆盖向城市设施转变的重要驱动力。随着人口数量的持续增长，城市扩张在将自然土地转化为城市基础设施方面发挥着关键作用。在文献[52]中，作者提出了一种基于迁移学习的创新框架，该框架结合了用于城市区域提取和变更检测的RNN模型。该模型在单年城市地图的整体准确性方面表现出色，四个目标城市（北京、纽约、墨尔本和慕尼黑）的准确率均达到96%。通过遗传算法优化的ANN模型[228]或CNN模型[229]，在预测的城市分布图中通过差异分析来识别城市变化。对于公共空间管理，基于街道视图的图像更改检测被视为识别公共空间侵占的有效手段。在文献[117]中，CNN模型借助暹罗结构和迁移学习，在VL-CMU-CD数据集上实现了高达98.3%的像素级精度。然而，由于实验数据集的多样性，不同方法的性能评估存在一定挑战。尽管部分方法基于Whu Building Dataset[88]，但其实验数据集的建筑规模差异使得直接比较方法性能存在困难。在文献[89]中，作者提出了两个基于不同分割技术的CNN模型：一个是基于对象实例分割的掩模R-CNN模型，另一个是基于像素级语义分割的多尺度CNN模型。此外，作者还探讨了这两种模型在建筑精度交叉量上的性能，结果显示其联合模型的建筑精度交叉量显著高于0.83。

在文献[94]中，作者提出了一种改进型的基于金字塔注意力引导的暹罗网络，用于建筑变化检测，该方法显著提升了地图的IOU值，达到0.97以上。同时，恒定的云层覆盖问题能够部分抵消光学遥感图像的完全利用，而SAR数据则提供了一个有效的替代方案，如文献[112]所报道。此外，为了获取更多建筑细节以提升变化检测的效果，空中激光扫描数据[91]能够提供丰富的三维信息，而建筑专题数据则整合了建筑物的先验知识，两者均表现出良好的效果。

土地覆盖的变化通常反映了气候学和水文的变化。因此，基于AI的变更是有效的，可以提供一种方法来监测资源和环境的变化。例如，通常通过多时期的Landsat卫星图像来实现森林监测[45,63,150,196,232]。除了Landsat数据之外，[56]的作者不仅识别了LULC变化的位置，还利用ANN研究了LULC变化及其对径流量的影响。地表水对人类至关重要，使用ANN [230]或CNN [231]能够有效地检测其变化。获得海冰的变化对于极地地区的导航安全和气候研究至关重要。[171]的作者采用了基于转移学习的框架和CNN模型，以检测来自两阶段SAR图像的海冰变化，并取得了κ系数超过94％的结果。

自然灾害对环境产生了深远的影响，改变了地形地貌。基于遥感RS数据的变更是灾害监测的重要手段。例如，通过利用基于卷积神经网络CNN的变化检测方法，可以实现滑坡区域的自动识别和精确Mapping，从而提高灾害预警的效率[20,93,129,233]。灾害后的损伤评估是变更是关键应用领域之一。通过利用人工智能AI技术，可以利用灾害前后的遥感数据对比，识别出受损区域并进行定量评估。目前的研究主要集中在以下几个灾害类型：海啸[92,119,190,234,236]、洪水[235]、火灾[104]以及地震[19,110]。

目前主流的变更检测技术主要针对与人们日常生活密切相关的应用领域，然而在文献[170]中，作者提出了一种基于AI的新方法，该方法专门用于行星表面变化的检测。该方法采用了基于转移学习框架和卷积AE模型的结构，实验结果表明，该方法显著优于基于差异图像检测方法。

7 基于AI的变更检测的挑战和机遇

基于AI的变化检测框架与第4节、5节总结的网络结构的结合能够实现各种应用的变化检测。 AI模型的设计需要综合考虑多周期输入数据类型、训练集大小以及所需更改图的特性。建议首先基于异构数据构建映射转换结构或伪暹罗结构。通过分析更改地图，分类后的结构能够提供最佳解决方案。当训练样本不足时，采用基于迁移学习的结构能够有效缓解数据不足的问题，同时使用AES和GAN可以降低对标注数据的依赖。为了实现基于长期序列数据的更改检测，通常采用多模型集成结构和RNN模型。

通过AI技术在变化检测领域的应用，我们可以看到，AI在RS社区中的变化检测方面取得了显著进展。然而，在这一过程中，我们面临许多挑战，这些问题与以下内容密切相关。

随着各类平台和传感器的不断开发，它们带来了严峻的挑战，包括高维数据集（具有高空间分辨率和高光谱特征）以及复杂的数据结构（涉及非线性和重叠分布）等。多源数据的复杂性显著增加了利用AI技术进行训练数据学习的难度，这可以被视为异构大数据处理的核心挑战之一。监督式AI方法需要投入大量的人力物力来获取训练数据，例如通过人工解释遥感产品和现场调查等耗时耗力的过程。基于AI的方法要实现鲁棒性模型，面临着样本不足的严峻挑战。无监督式AI技术则需要开发新的方法来应对这些挑战。在第4节和5节中，我们已经对各种有效的AI模型和框架进行了综述。目前，研究人员不断提出基于最新AI技术的变化检测方法。然而，选择和验证这些方法的有效性仍然是一个巨大的挑战，同时要确保其在不同应用场景中的准确性和可靠性。在实际应用中，AI系统的可靠性和稳定性需要得到充分考虑。

一些学者就相关问题的解决方案展开了深入探讨，并提出了自己的策略。我们计划对这些问题进行深入探讨，并提供见解。

7.1 异构大数据处理

异质性是大数据和异质数据的核心特性之一，其源于变化检测结果的生成与分析过程中的特定挑战[237]。从数据源的角度来看，RS技术RS能够支持改变检测，涵盖包括SAR、GIS数据、高分辨率卫星图像以及多种时空测量数据在内的多种数据类型。然而，由于数据完整性缺失、高冗余性以及数据不诚实等问题，这些具有高变异性与复杂格式的数据类型难以得到有效应用。此外，在RS数据处理过程中，必须提高现有AI方法AI的泛化能力，尤其是在处理异构大数据时[88]。基于此，我们建议进一步研究以下方面：以下研究方向值得深入探讨：

尽管基于异构数据的AI驱动的变更检测方法已经表现出良好的应用效果，但如第3.1.4节所述，现有研究主要集中在有限的领域类型和数据规模。此外，这些研究主要关注在不同数据源之间的变化检测，而对在同一时间段内多源数据的融合研究相对不足。为了充分利用同一时间段内多源数据（如光学RS图像和DEM）以及数据融合理论（即各类型数据间的相互补充），结合AI技术，可以有效提升多源数据变化检测的精度和效果。然而，目前尚未实现有效的AI驱动的三维变化检测技术; 由于现有方法主要依赖于二维信息的检测，通过开发三维重建技术，利用三维数据进行建筑物等的变更检测，将成为未来研究的方向[6]。在这一技术框架下，基于倾斜图像或激光点云数据的三维重建，以及基于航空图像和地面街道视图数据的三维重建（即空中地一体化）是当前研究的热点。然而，三维变化检测的有效AI技术仍未得到突破;
RS大数据的处理需要消耗大量计算资源，这对基于AI的变化检测方法的实现构成了挑战。例如，通常需要在块内处理大尺寸数据，这容易导致边缘处理问题。此外，处理大量数据需要AI模型中较大的训练参数，这会带来复杂的训练过程和较高的计算成本。因此，如何在数据量和训练参数之间找到平衡，成为基于AI的变化检测方法设计中的关键挑战。
简而言之，在设计变更检测模型时，应充分考虑异构大数据的特点，以确保其能够实际应用于RS大数据处理，这是一项值得追求的目标。

7.2 无监督 AI

尽管域名知识在辅助构建传统机器学习方法中的表示形式方面具有重要作用，但其在推动AI无监督表示能力方面的作用更为突出。这种能力源于AI无监督学习追求的显著特点，即能够直接从数据中提取层次化结构，并在数据驱动决策方面展现出显著潜力。在以下几个研究领域，可以深入探索无监督AI的技术发展：

在过去的几年中，由于缺乏标记样本来训练高效AI模型，许多研究人员致力于这一问题，并持续取得令人瞩目的成果。随着无监督AI技术的不断涌现，如第4.4节所述，其中包含GaN、转移学习和AES等技术。尽管这些技术在一定程度上缓解了样本不足的问题，但仍存在进一步优化的空间。

变化检测问题通常具有低似然特征，即，在变化图中，不变的部分相较于改变的部分更为显著。该问题具有变化位置和方向的不确定性，由于缺乏先验知识的支持，目前，无监督的AI技术在解决这一问题方面仍显不足。然而，弱监督和半监督的AI技术是可行的解决方案，但需要进一步研究以提升性能。然而，纯粹的无监督AI技术在改变检测技术上的应用仍处于探索阶段。

学习无监督AI技术的原因之一，是缺乏足够的训练数据，即先前的知识储备。在互联网已进入2.0时代的大背景下（强调用户生成内容、易用性、用户参与性文化和互操作性），利用人群源数据作为先验知识成为一个有效的替代方案。例如，维基世界地图[32]是一个免费的资源，通过志愿者培训AI模型，使其标注大量注释数据。尽管人群源数据的标注精度较低，但通过弱监督学习，AI模型仍能实现变化检测。

另一方面，基于CV的当前发展动向，无监督学习的AI技术将继续成为研究热点，并在变化检测应用中具有显著优势。

7.3 AI的可靠性

尽管基于AI的多种改变检测框架均可展示模型结构，但这些训练参数具有不可见性，类似于黑匣子的特性，这使得我们难以理解其运作机制，以及它们如何执行任务和操作流程[239]。然而，AI的可靠性目标在于开发出可靠且可解释的技术，以提升变化检测方法的准确性和透明度。因此，开发出鲁棒且可解释的AI技术对于改进变化检测至关重要。相关理论研究的文献资料可参考文献[240,241]中的内容。在本研究中，我们仅探讨可用于提高以下方面改善变更检测结果可靠性的策略：

策略1：为了解决数据源所带来的误差问题，可以采用预处理手段，如光谱校正和辐射校正，以有效降低几何误差和光谱差异对数据准确性的影响。此外，通过融合多个数据源，可以显著提升原始数据的可靠性，从而显著提高改变检测结果的可靠性。已有研究已对此进行了深入探讨[243]。

策略2：借助子模块模型结构，我们可以增强AI模型的可解释性。通过深入分析每个子模块的功能，我们可以更好地理解整个AI模型的工作原理。例如，R-CNN中的区域建议组件可以明确地理解为用于预测物体区域的发电机。

策略3建议通过融合多种算法和结果来增强AI模型的鲁棒性。集合学习作为一种有效的解决方案[15,244]，通过整合多种模型的结果能够显著提升最终结果的准确性。

策略4：利用集成后处理算法（包括Markov随机字段[245]、条件随机字段[246]以及Level Set Evolution[247]）来增强AI模型的实际应用价值，有助于有效去除噪声点并准确地界定边界。这一技术对于某些制图应用至关重要，尤其在需要高度精确性和可靠性的场景中表现突出。

策略5：采用精细检测单元以提升变化贴图的细节。基于变化检测的检测单元，该过程可划分为场景级别、片级别、超像素级别，以及从粗到精的像素级别。从可靠性角度来看，子像素级别是最佳选择，因为它能够缓解RS图像中的混合像素问题。然而，这可能导致较高的计算复杂度。因此，根据不同的土地覆盖类型采用不同的检测单元是最佳解决方案，这需要精心设计的AI模型。

该方法基于对每个实例的修改情况检测，以优化更改映射的表示方式。如前所述，更改映射包括二进制映射、单级映射、从到映射以及实例映射等多种类型。实例更改图虽然更具实用性，但其研究仍显不够深入。它能够为每个实例提供更改信息，并更能体现出现实世界中的变化特征。此外，实例更改图能够消除二进制映射缺乏语义信息的缺陷，并通过分类系统进行限制，从而确保最终结果的可靠性。

采用用于变更检测的AI技术时，需要考虑涉及数据预处理、模型训练以及调整功能提取和准确性评估的可靠性的要素。这一过程旨在构建最合理的AI框架，以增强变更检测结果的可靠性。在本节中，我们已经得出了挑战与机遇的摘要，并提出了我们的前景。依赖于AI的变更检测技术的发展将取决于未来努力克服这些挑战;未来努力和创新将推动技术的进一步成功。

8 总结

此评论揭示了AI驱动的最新技术，揭示了应用程序和挑战的AI驱动的变更检测技术。面向新手，详细阐述了基于AI的变化检测实现过程。鉴于数据的有效性是主要挑战之一，对现有数据源和现有数据集进行了全面分析。尽管当前公共数据集有所增加，但公开标记数据集仍然不足和匮乏，这需要RS社区的共同努力。基于AI的通用网络架构和常用网络体系结构分析表明，AI在组合式变更检测方面取得了显著进展，但随着异构大数据的处理，无监督的变化检测仍面临诸多挑战，而AI的可靠性仍需进一步探索。这将推动未来研究方向。此评论通过更清晰的组织结构，将有助于研究人员更好地了解这一领域。