开放集领域自适应OSDA（十）：Adversarial Open Set Domain Adaptation via Progressive Selection of Trans‐ ferab论文原理

这篇论文提出了一种新的域自适应方法，称为阈值域自适应网络（ThDAN），以解决开放集域自适应（OSDA）问题。传统的封闭集域自适应（CSDA）方法假设源域和目标域共享相同的标签空间，但在实际应用中，目标域可能包含源域中没有的未知类别。为此，OSDA需要一种方法来处理未知类别，而现有方法如OSBP需要重新加权源样本，可能导致负迁移。
ThDAN通过选择可转移的目标样本进行分布对齐，避免负迁移。论文提出了一种基于可转移性阈值的样本选择策略，通过计算目标样本的可转移性得分，选择已知类别的目标样本进行域对抗训练。此外，ThDAN引入了渐进式样本选择策略，通过调整可转移性阈值，逐步增加目标样本的选择，提高训练效果。
实验结果表明，ThDAN在多个基准数据集上优于现有方法，验证了其有效性。该方法通过在保持高效性的同时提升性能，为OSDA问题提供了新的解决方案。

文章目录

• 前言

  • 摘要
  • 1. 介绍
  • 2. 相关研究
  • 2.1. 紧致域适应
    • 2.2. 松散域适应

• 3. 知识蒸馏基础

  • 3.1. 开放集学习
    • 3.2. 对抗训练

• 4. 方法

• 4.1. 基于阈值的域对抗网络

• 4.2. 转移性量化

• 4.3. 可转移样本的选择

• 4.4. 逐步样本选择

• 4.5. 对比分析与讨论

  • 实验部分

---

前言

文章发表于2020年的Neurocomputing期刊。

---

摘要

近年来，研究者们开发了多种无监督域自适应（UDA）方法以解决域适应问题。现有的UDA方法大多基于封闭集域适配（CSDA）框架，假设源域和目标域共享相同的标签空间。然而，在实际应用中，目标域可能包含与源域已知类别不同的未知类别（即开放集域适配，OSDA）。由于未知类别的存在，将OSDA的源域和目标域整体进行分布对齐与传统方法一致的做法可能导致模型性能下降。针对OSDA问题，现有方法通常通过为未知类别目标样本分配较小权重来处理。尽管这些方法在性能上表现良好，但未知类别样本仍参与分布对齐过程，这可能导致模型存在负迁移风险。针对这一问题，本文提出了一种 novel 方法，称为阈值域对抗网络（ThDAN）。与现有方法不同，ThDAN无需对权重进行重新调整，而是通过逐步选择可转移的目标样本来进行分布对齐。基于已知类样本的可转移性高于未知类样本这一事实，我们构建了一个分类器来进行已知类的分类和未知类的识别，并在此过程中制定了量化可转移性的标准。在ThDAN中，通过计算源域样本的可转移性得分平均值得出自适应阈值，以此选择目标样本进行训练。在训练过程中，动态调整阈值以逐步从已知类别中选择更多目标样本进行对抗训练。大量实验结果表明，该方法在基准测试中显著优于最新的领域自适应和开放集识别方法。

1. Introduction

• 有监督机器学习假设训练和测试数据来自同一分布，而在实践中，训练和测试数据通常来自相关领域，但分布不同，这种现象称为领域转移[1]。然而，获取大量手动标注的标签来重新训练模型以测试数据，往往成本高昂且耗时。另一种方法是无监督域自适应（Unsupervised Domain Adaption，UDA）[2,3]，它通过利用从标记的源域学习到的知识来提高未标记的目标域上的模型性能，从而解决域转移问题。
• 在过去的十年中，许多UDA方法[4,5,6,7,8,9]被提出用于闭集域自适应（CSDA），该方法假设源域和目标域的标签空间相同。然而，由于目标样本的标签信息不可用，这种假设很难得到验证，尤其是在我们无法约束目标域中类边界的真实场景中。更实际的设置是[10]中提出的开放集域适配（OSDA），其中源域和目标域都包含不属于彼此类别的样本。OSDA的目标是对已知类别的目标样本进行正确分类，并将未知类别的样本拒绝为“未知”。然而，收集未知类别的源样本也很昂贵，因为我们必须收集多样且多的样本才能获得“未知”的概念。因此，在本文中，我们遵循[11]的设置，其中未知源样本不再可用，即目标域的标签空间包含源域的标签空间。
• 由于未知类的存在，将OSDA源域和目标域的整个分布与CSDA方法中的一致将导致负迁移[3]。[11]中提出的开放集反向传播（OSBP）模型通过为未知类别的样本分配较小的权重来解决这一问题，从而减轻负迁移。尽管OSBP取得了良好的性能，但未知类别的样本仍然用于分布对齐，这使得模型存在负迁移风险。特别是在训练的初始阶段，来自已知和未知类的样本的权重是相似的，该模型将尝试调整域之间的整体分布。此外，由于所有来自未知类的样本都用于训练，模型需要更长的时间来减少它们带来的负面影响。
• 为了克服现有方法的局限性，本文提出了一种适用于OSDA的阈值域对抗网络（ThDAN），它逐步选择可转移的目标样本进行分布对齐。图1和图3分别说明了ThDAN的总体思路和体系结构。基于已知类的样本比未知类的目标样本更具可转移性这一事实，我们通过构造分类器对已知类进行分类和识别未知类，得出了一个量化可转移性的标准。通过平均源域样本的可转移性得分，自适应地计算可转移阈值以选择可转移样本。然后，ThDAN将通过域对抗性训练[8]进行训练，使所选样本和源样本之间的分布保持一致，并将未选样本视为“未知”而拒绝。为了使样本选择算法对小批量训练的振荡具有鲁棒性，采用指数移动平均法更新可转移阈值。此外，在每次迭代中逐步调整阈值，以便从已知类别中正确选择越来越多的目标样本进行对抗性训练。
• 总之，我们的贡献如下：，
  1.通过选择可转移的目标样本进行域对抗训练，提出了一种新的阈值域对抗网络（ThDAN）模型。
  2.我们通过在训练过程中逐步调整可转移性阈值，为ThDAN提出了一种渐进式样本选择策略。
  3.综合实验表明，该方法在三个基准上均优于现有的闭集、开集域自适应和开集识别方法。

2. Related Work

2.1. Close Set Domain Adaptation

• 闭集域适配（CSDA）[2,3,12]假设域之间共享相同的标签空间，并侧重于将知识从源域转移到目标域，以减少域之间的域转移。
• CSDA的典型方法是最小化特征分布之间的统计距离。有几种方法可用于匹配统计矩，包括最大平均差异（MMD）[4,6,13,14,15]、中心矩差异（CMD）[16,17]、瓦斯特斯坦距离[18]和相关对齐（CORAL）[19]。同时，随着生成对抗网（GAN）[20]的重大进展，基于领域对抗学习的aro方法被提出。域对抗性神经网络（DANN）[8]和对抗性判别域自适应（ADDA）训练一个域分类器来区分源域和目标域的特征，然后迫使特征提取器混淆域分类器，从而生成域不变特征。联合适应网络（JAN）将对抗性学习与MMD相结合，通过调整多个领域特定层在不同领域的联合分布。此外，还有一些方法使用批量规范化统计[21,22]将源和目标分布与规范分布对齐。
• CSDA的另一种方法是使用生成模型合成标记的目标样本作为数据增强，然后在像素和特征级别匹配域[23,24,25,26,27]。[28]中提出的循环一致生成对抗网络（CycleGAN）将源图像转换为目标图像，反之亦然，具有循环一致性损失，然后分别用源图像和转换图像训练每个域的分类器。由于CycleGAN在图像翻译中的出色性能，基于CycleGAN[29,30[29] P . Russo, F. M. Carlucci, T. Tommasi, B. Caputo, From source to target and back: symmetric bi-directional adaptive gan, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 8099–8108. [30] J. Hoffman, E. Tzeng, T. Park, J.-Y . Zhu, P . Isola, K. Saenko, A. A. Efros, T. Darrell, Cycada: Cycle-consistent adversarial domain adaptation, arXiv preprint arXiv:1711.03213 (2017)]的域自适应方法最近受到了广泛关注。[31]中提出的域流（DLOW）模型通过引入域变量来引导模型生成所需的中间域图像，从而改进了CycleGAN。
• 提出的CSDA方法为领域自适应的推广提供了丰富的工具箱。然而，由于缺乏目标标签信息，CSDA的假设很难在实践中得到验证。针对实际的无监督领域适应，最近提出的工作旨在从不同角度放松CSDA的假设。

2.2. Open set Domain Adaptation

• [10]中介绍的开放集域自适应（OSDA）假设两个域都包含未知类，这些类不包含在彼此的标签空间中。提出的算法称为“迭代分配和变换”（ATI），将目标样本映射到源类，并训练支持向量机进行最终分类。[11,32]通过不要求源域的未知类来进一步修改开放集域自适应。他们提出的开放集反向传播（OSBP）模型训练一个域对抗网络，输出目标样本的类敏感概率，以便该模型能够拒绝未知类中的目标样本。Mahsa等人引入了一个框架[33]，将数据分解为共享部分和私有部分，同时鼓励共享表示具有区分性。
• 开集域自适应与开集识别有关 。开集识别的目标是对已知类别的样本进行正确分类，同时拒绝未知类别的样本。提出了一种使用1-vs-Set机器[34]从边缘距离描绘决策空间的方法。多类开集支持向量机[35]通过分配概率决策分数来拒绝未知样本。此外，还提出了一种利用深度神经网络[36 A. Bendale, T. E. Boult, Towards open set deep networks, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 1563–1572.]解决该问题的方法，该方法引入OpenMax层，以估计输入来自未知类别的概率。此外，提出了扩展最近邻分类器的开放集神经网络[37 P . R. M. J´unior, R. M. de Souza, R. d. O. Werneck, B. V . Stein, D. V . Pazinato, W. R. de Almeida, O. A. Penatti, R. d. S. Torres, A. Rocha, Nearest neighbors distance ratio open-set classifier, Machine Learning 106 (3) (2017) 359–386]来识别未知类别中的样本。
• 部分域自适应（PDA） [10]是与开集域自适应相关的另一个研究课题，也是闭集域自适应的一般情况，其目的是将知识从一个大的源域转移到一个小的目标域。在部分域自适应设置中，源域包含与目标域中已知类不同的类 。[38]中提出的模型在辅助域判别的帮助下重新加权了源样本的重要性。示例传输网络[39]通过联合学习领域不变表示改进了以前的工作。选择性对抗网络[40]为每个类别构建领域鉴别器，并在类别级别执行对抗训练。
• 由于像[10]那样收集未知类的源样本也是昂贵且耗时的，因此在本文中，我们主要遵循[11]中提出的开放集域适配设置，其中目标域包含与源域中已知类不同的未知类。

3. Preliminaries

3.1. Open Set Domain Adaptation

• 图

3.2. Domain Adversarial Training

基于生成性对抗网络[20]，领域对抗训练[8,11,41]被提出用于调整领域之间的分布。当域鉴别器G_d被优化以区分源域和目标域时，特征提取器G_f被学习以混淆域标签。与现有的训练方案[8]不同，在G_d和G_f之间的对抗训练中同时使用源样本和目标样本，该模型仅基于目标样本进行域对抗训练，因此可以使用域鉴别器来近似未知类的概率。正式来说，对抗性训练可以写成：，

（源样本虽然用到了，但是不参与对特征提取器的更新哦~ ）

• 给定任何G^s_f和G^t_f，最佳G_d为：

这里z是样本的深度特征表示，即z=G_f(x)。我们给出等式（2）的证明如下：，

在对目标方程（3）求取Gd的偏导数后，调整了积分顺序以交换微分和积分的操作，从而确定最优Gd值落在方程（2）所界定的区间[0,1]内。

4. Method

4.1. Thresholded Domain Adversarial Network

本文提出了一种阈值域对抗网络（ThDAN），该网络基于可转移性原则，从已知类别中筛选出目标样本进行域对抗训练。在提出的ThDAN架构中，分类器G_c被构建为一个K+1路网络，其中1∼ K维用于表示已知类别的概率分布，最后一维G^{K+1}_c则用于表示未知类别的概率分布。由于目标域缺乏未知类别的监督信号，G^{K+1}_c在训练过程中无法像在源域那样，通过标签信息最小化分类损失来实现优化。针对目标域，作为目标样本的概率（即Gd）被用于近似替代G^{K+1}_c，从而完成未知类别概率的估计。对于从K个已知类中获取的源数据，源特征提取器Gs f和Gc经过训练，以最小化交叉熵分类损失Lce。

因为所有源样本均属于已知类别，所以该步骤通过为所有源样本分配极低的小分数来更新G_c的最后一个维度（即G^{K+1}_c）

对于目标样本，设定一个合理的可转移性临界值，以有效区分已知类别和未知类别的目标样本，如图2所示。可转移目标样本X^k_t和不可转移目标样本X^u_t分别被视为来自已知类和未知类的样本。为了探究已知类别在不同领域的分布特征，运用公式（1）中的领域对抗训练方法进行分析。

基于对抗性训练策略，公式（5）中定义的生成器G^t_f可能对输入样本产生误判。具体而言，目标域中的样本X^k_t很可能被归类为已知类别的源样本（来自已知类别 ），这一现象源于Gd对目标样本输出较高的概率值。这种现象的出现，源于Gd在目标域样本上的输出倾向于高置信度的判断。另一方面，由于源域样本X_s并未参与特征提取器G^s_f的训练过程，因此Gd在面对这些源样本时，能够保持对它们的高置信度分类能力。

一种常见的域对抗训练方法，通过引入梯度反转层，该方法实现了域对抗训练的效果。需要注意的是，源和目标域共享了一个特征提取器模型，即G_fs和G_ft参数配置相同，但仅在目标域样本参与特征提取器的更新过程。这一现象的原因在于，源域样本没有参与特征提取器的参数训练，以避免混淆域鉴别器G_d。因此，G_d能够有效地将这些样本标记为具有高置信度的源域样本。这样，这种双向迁移的过程并不存在，因为G_d输出的值能够反映目标样本与源样本之间的迁移程度。具体而言，G_d输出的值能够反映目标样本与源样本之间的迁移程度，数值越小则表示迁移程度越低，这也就意味着目标样本的迁移性越弱，可能属于未知类别。

图2

图2：基于可转移性的样本选择。第一步，我们通过计算平均源域样本Xs的可转移性分数来确定筛选标准。第二步，我们筛选出可转移性分数超过阈值的目标样本Xt作为可转移样本，用X^k_t表示；其余未达到阈值的样本则被标记为不可转移样本，用X^u_t表示。

不可转移的目标样本Xut因负迁移问题而无法用于更新Gt f以实现分布对齐。由此，我们在此基础上构建了Xut上的优化问题公式，如以下所示：

通过优化等式（6），鉴别器Gd能够将Xut准确识别为目标样本，其来源为未知类别。由于Xkt和Xut可能分别被鉴别器Gd分类为源样本（来自已知类）和目标样本（来自未知类），因此，Gd的输出可用于估计未知类别G^{K+1}_c的概率。

首先，根据分类器第k+1维的输出确定阈值，将目标样本划分为已知类别和未知类别。随后，采用对抗训练的方法使已知类别和源样本的特征对齐。公式6表明，对于未知类别的目标样本，其在Gd（生成对抗网络）中的输出概率应尽可能接近0，而源样本的输出概率应接近1。实际上，我认为作者的表述不够清晰，Gd输出的不是输入样本是目标样本的概率，而是输入样本是未知类别目标样本的概率。 这样，自然希望已知类别目标样本在Gd的输出接近0，源样本的输出接近0，而未知类别目标样本的输出接近1。GRL（生成对抗关系学习）仅应用于已知类别的目标样本。

ThDNA的结构，如图3所示。其结构为...在后续的部分中，我们将详细阐述样本选择算法。

4.2. Transferability Quantification

为实现图2中所提出的样本选择算法的实用价值，本节系统性地推导了量化可转移性的标准。已知类的目标样本能够混淆当前特征提取器G_d。考虑到网络G_d已收敛到最优值G^∗_d，这表示当前特征提取器，如式（2）所示。G^∗_d的输出值则指示目标域样本的可能性。为实现图2中所提出的样本选择算法的实用价值，本节系统性地推导了量化可转移性的标准。已知类的目标样本能够混淆当前特征提取器G_d。考虑到网络G_d已收敛到最优值G^∗_d，这表示当前特征提取器，如式（2）所示。G^∗_d的输出值则指示目标域样本的可能性。

等式（7）揭示了，标记的源样本相较于未标记的目标样本更容易实现迁移。权重函数本质上是目标与源特征之间密度比的度量，具体表现为p_t(z)与p_s(z)的比值。这一发现进一步验证了权重函数的合理性和有效性。具体而言，由于边缘分布与源样本存在重叠，来自已知类别的目标样本通常会表现出更高的p_s(z)值。

• G_c可以对已知类别中的目标样本进行正确分类。用上标K表示G_c的K′维输出，则可以得到已知类之间的概率分布，如下所示：，

基于熵衡量模型的概率在不同状态下的分布情况，可以表征预测的不确定性。考虑到域间边缘分布的重叠性，已知类目标样本可通过分类器G_{c,know}被准确分类，该分类器基于源样本进行训练。这导致已知类样本的熵值相对较低。而对于未知类别样本，由于它们无法归入已知的K个类别之一，因此熵值的预测不确定性显著增加。基于此，可转移性w_c(x)被定义为与分类熵呈反比：

这里，归一化熵计算器H（·）的输出值范围在0至1之间。基于源域监督信息训练的分类器Gc的预测结果更具可靠性。这表明源样本在转移到目标样本的过程中更为容易，这与式（7）所示的一致。

等式（7）通过计算成为目标域的概率来评估可转移性，而等式（9）则通过计算已知类别间的概率熵来评估可转移性。由于等式（7）和（9）分别从不同的角度评估可转移性，因此，我们可以将其整合为一个统一的可转移性标准，如以下所示：

如式（7）和式（9）所示，源样本最具可转移性，而来自已知类别的目标样本比来自未知类别的样本更具可转移性。由于式（10）是式（7）和式（9）的统一，因此也可以继承这一特性。这引发了可转移性不平等：

在式中，p^k_t和p^u_t分别代表第3.1节中定义的已知类别和未知类别目标样本的概率分布。

4.3. Transferable Sample Selection

在本节中，我们阐述了样本选择算法，通过基于等式（10）中提出的可转移性标准来识别已知类别与未知类别之间的目标样本。首先，可转移性阈值β的计算过程如下：

在这里，β的计算基于源样本Xs的平均批次与预设常数γ的可转移性得分。γ被定义为偏差参数，用于调节阈值，以决定可转移目标样本的接受范围。当降低γ值时，我们能够收集少量具有可转移性的样本。另一方面，提高γ值，我们能够收集大量可转移性较弱的样本。

• 然后，如图2所示，可转移性得分超过阈值β的目标样本将被选择为可转移样本，其他样本将被分类为不可转移样本。从形式上讲，样本选择过程可以表述为：，

在训练过程中，可转移性目标样本Xkt和不可转移性目标样本Xut分别被归类为已知类和未知类的样本。基于确定已知类别在不同领域的分布，Xkt被用于等式（5）的对抗训练。针对Xut样本，域鉴别器Gd根据公式（6）将其标记为目标样本。

4.4. Progressive Sample Selection

为了提升样本筛选的精确度，并从已知类别中选择更多目标样本进行训练，本节通过逐步优化可转移性阈值，提出了一种渐进式的筛选策略。在计算资源有限的情况下，ThDAN采用小批量训练样本进行训练，并根据公式（12）计算随机可转移性阈值。小批量训练中的随机性可能导致阈值振荡，影响筛选效果。为了解决可转移阈值的振荡问题，本文参考动量SGD[42]的方法，采用指数加权平均的思想。使用β∗定义为动量转移阈值。对于第一个小批量训练样本Xs0，我们通过公式（12）计算β∗的值，随后依次更新后续样本的β∗，最终获得稳定的可转移性阈值。

对于第i个训练样本Xsi，β∗ 用动量标量m的指数移动平均计算，

不同于仅依据当前阈值进行选择，β∗通过累积地整合了历史阈值信息，从而降低了小批量训练过程中的随机性。

为了增强分布一致性，针对ThDAN，域对抗训练包括两个阶段N1和N2。在阶段N1中，由于预训练分类器在开始时可能无法很好地适应目标域，因此仅从目标域中选择具有很高可转移性的最可转移样本进行对抗性学习。在通过高度自信的可转移目标样本进行细化后，分类器可以更好地适应目标域，因此我们降低了可转移阈值，以充分利用来自已知类别的更多目标样本进行N2阶段的对抗性训练。因此等式（12）的偏置参数γ更新为，

在对抗训练过程中，n表示第n次迭代。n1和n2阶段分别对应着n1和n2次迭代的步骤。在n1阶段，当目标样本的可转移性得分高于源样本的平均得分时，会选择目标样本进行域对抗性训练。进入n2阶段后，通过应用增函数σ（·），我们将γ从0逐步提升至γ0。在此阶段，即使这些目标样本的个别可转移性得分略低于源样本的平均得分，我们仍可继续选择其进行领域对抗性训练。

• ThDAN的训练过程如算法1所示。

4.5. Comparison and Discussion

本研究探讨了开放集域适配（OSDA）问题，如同现有的开放集反向传播（OSBP）[11]工作所处理的一样。在OSDA框架中，源域Cs的标签空间完全包含于目标域Ct的标签空间中，即Cs⊂Ct。值得注意的是，尽管先前的Assign and Transformatively（ATI）[10]方法也被提出用于解决OSDA问题，但该方法需要利用未知类别的源样本进行训练，这在实际应用中可能并不现实。为了解决OSBA问题，现有的OSBP方法通过将较大的权重分配给已知类的目标样本，以及将较小的权重分配给未知类的目标样本来进行训练。尽管OSBP在性能上表现优异，但其假设条件存在不合理之处：未知类别目标样本的分布与已知类别源样本的分布存在显著差异，这可能导致负迁移现象。为应对这一挑战，我们提出了一种基于领域对抗学习[8]的分布对齐方法。与OSBP方法不同，我们的方法通过引入可转移性阈值，仅选择已知类别的目标样本进行域对抗训练，从而避免了已知类别目标样本分布的不合理对齐。在第5.2节的实验中，我们展示了所提出方法在基准数据集上的优越性。此外，第5.3节的大量实验结果进一步验证了所提出的样本选择算法的有效性。

实验部分

• 图