最优传输论文（二十五）：Multi-Source Distilling Domain Adaptation论文原理

文章目录

• 前言

• 摘要

• 介绍

• Related Work

• Problem Definition

• 多源提取领域自适应

• • 源分类器预训练
  • Adversarial Discriminative Adaptation
  • Source Distilling
  • Aggregated Target Prediction

• Experiments

• • 实验设置
  • 可解释性和消融研究

• 结论

---

前言

• 文章来自2020年的AAAI
• 本文是本人迁移学习与最优传输 系列论文的第25 篇，所有系列论文的相关代码在https://github.com/CtrlZ1/Domain-Adaptation-Algorithms ，希望各位大佬们不吝点赞，给个Star 哦~

---

摘要

• 当有标记的源域和无标记的目标域之间存在域转移时，深度神经网络的性能会下降，这激发了对域自适应的研究。传统的数据分析方法通常假设标记数据是从单个源分布中采样的。然而，在实践中，标记数据可能从多个来源收集，而单源数据挖掘算法的简单应用可能导致次优解决方案 。本文提出了一种新的多源提取域自适应(MDDA)网络，该网络不仅考虑了多源与目标之间的不同距离，还研究了源样本与目标样本的不同相似性 。具体地，所提出的MDDA包括四个阶段:(1)使用来自每个源的训练数据分别预训练源分类器 ；(2)通过最小化源和目标之间的经验瓦瑟斯坦距离，将目标分别对抗性地映射到每个源的特征空间中 ；(3)选择更接近目标的源训练样本，对源分类器进行微调 ；以及(4)通过对应的源分类器对每个编码的目标特征进行分类，并且使用对应于每个源和目标之间的差异的各自的域权重来聚集不同的预测 。在公共数据自动化基准上进行了大量实验，结果表明，所提出的MDDA方法明显优于最先进的方法。我们的源代码发布于:https://github.com/daoyuan98/MDDA.

---

介绍

• 深度学习算法取得重大成功的一个关键因素是大规模标记数据的可用性(he等人，2016)。然而，在许多实际应用中，只提供有限的甚至没有训练数据 。一方面，获取丰富的标签数据是极其昂贵的。另一方面，视觉数据本质上具有差异性，这从根本上限制了监督学习模型在处理带有少量标签的新场景时的可扩展性和适用性(倪、张和谢2019)。在这种情况下，传统的深度学习方法会受到性能下降的影响。将在标记的源域上训练的学习模型直接转移到未标记的目标域可能会导致不令人满意的性能，因为存在域移位（domain shift）(Torralba和Efros 2011)，这需要域自适应(DA)方法(Bousmalis等人，2016；赵等2018bHoffman等人，2018年)。无监督数据挖掘(UDA)通过建立从标记的源域到未标记的目标域的知识转移，并探索域不变的结构和表示 来弥合域差距来解决这些问题(Netzer等人，2011)。两个理论结果(本-大卫等人，2010；Gopalan，李，Chellappa 2014曾等(2017)和用于域自适应的算法(潘和杨2010；Long等人，2015年；Hoffman等人，2018年；赵等2019b)最近已经提出。
• 虽然这些方法在数据挖掘方面取得了进展，但大多数集中在单源设置上(孙等，2011；Ganin等人，2016年)，并且未能考虑更实际的场景，其中存在具有不同分布的多个标记源域。单源数据挖掘算法的简单应用可能导致次优解(申等，2017)，这需要有效的多源域自适应(MDA)技术。最近，一些深度MDA方法被提出(赵等，2018a徐等2018；李等2018；彭等2019；赵等2019a)，但大多数都受到以下限制。(1)为了学习领域不变特征，它们为期望的任务学习者牺牲了所提取特征的区别性 。(2)他们平等地对待多个来源，没有考虑来源和目标之间的不同差异 ，如图1所示。当某些来源与目标非常不同时，这种处理可能导致次优性能(赵等人，2018年a)。(3)他们平等地对待来自每个源的不同样本，而不是基于来自同一源域的不同样本可能与目标具有不同相似性的事实来提取源数据 。(4)当领域分类器网络能够很好地将目标表示从源表示中分离出来时，基于对抗学习的方法会遇到梯度消失 的问题。
  图1 ：

图1:探索不同来源和目标之间关系的MDDA图解。我们采用鉴别器D以对抗的方式测量每个源和目标之间的相似度ω 。选择更接近目标的样本来提取源分类器C'。不同提取的源分类器的预测在基于域的相似性的基础上被聚合起来，以获得目标样本的最终预测。

• 在本文中，我们提出了一种新的多源提取域自适应(MDDA)网络，通过深入探索不同源和目标之间的关系来应对上述挑战。如图2 所示，MDDA可以分为四个阶段。
  (1)我们首先使用来自每个源的训练数据分别预训练源分类器。
  (2)我们固定每个源的特征提取器，通过最小化源和目标之间的经验瓦瑟斯坦距离，将目标分别对抗性地映射 到每个源的特征空间中(Arjovsky，Chintala，Bottou 2017)，即使当目标和源分布不重叠（Wasserstein的特性） 时，这也能提供更稳定的梯度。
  (3)我们选择更接近目标的 源训练样本来微调源分类器。
  (4)我们通过基于源域权重来聚合源预测来构建目标预测器，源域权重对应于每个源和目标之间的差异 。我们提出了一种机制，在源域上自动选择加权策略 ，以强调更多相关源并抑制不相关源，并基于这些权重聚合多个源分类器 。通过以上四个阶段，所提出的MDDA可以提取对于学习任务有区别性并且对于多个源域和目标域之间的转换不加区分 的特征。

• 本文的主要贡献总结如下:
  1. 我们建议MDDA探索不同源和目标之间的关系，并通过基于这些关系微调和聚合源分类器 来实现对目标的更精确的推断。
  2. 与(Xu等人，2018)对称地将多个源和目标映射到同一空间 相比，通过使用以对抗方式非对称地将目标映射到源的特征空间 的独立特征提取器，学习了更具区别性的目标表示，并避免了多源和目标分布同时变化带来的振荡（有道理，和之前的一个思路不谋而合） 。Wasserstein距离用于对抗训练，即使当目标和源分布不重叠时，也能获得更稳定的梯度。
  3. 我们提出了源提取机制来选择更接近目标的源训练样本 ，并用这些样本微调源分类器 。
  4. 我们提出了一种新的机制，在源域上自动选择加权策略 ，以强调更多相关源并抑制不相关源，并基于这些权重聚合多个源分类器 以构建更精确的目标预测器。
  5. 我们在公共基准上广泛评估MDDA，实现最先进的性能，并验证MDDA的功效。

---

Related Work

• Single-source UDA 最近的单源UDA (SUDA)方法的重点已经以端到端的方式转移到深度学习架构 。大多数深度方法采用具有两个流的联合架构来分别表示源域和目标域的模型(Zhuo等人，2017)。通常，这些方法与基于标记源数据的传统任务损失和另一种损失联合训练，以解决域转移问题 ，例如差异损失、对抗损失、重构损失 等。基于差异的方法明确地测量两个网络流的源域和目标域之间的差异 ，例如最大平均差异的多核变体(Long等人，2015，DAN)、相关比对(CORAL)(孙，冯，和Saenko，2016；2017;卓等，2017)和对比领域差异(康等，2019)。对抗性生成模型将领域区分模型与生成组件相结合 ，生成通常基于GAN (Goodfellow等人，2014)及其变体的虚假源或目标数据，如CoGAN (Liu和Tuzel，2016)、SimGAN (Shrivastava等人，2017)、CycleGAN (Zhu等人，2017；赵等人，2019年b)和CyCADA(霍夫曼等人，2018年)。对抗性鉴别模型通常采用与领域鉴别器相关的对抗性目标，以鼓励领域混淆(Ganin等人，2016年；Tzeng等人，2017年；陈等2017；沈等2017；Tsai等人，2018年；黄，黄和Krahenbuhl 2018)。当直接应用于MDA问题时，这些方法中的大多数都存在精度低的问题。（感觉这样写Relation比较好 ）
• Multi-source DA ：MDA假设训练数据是从多个来源收集的(孙、石和吴2015；赵等2019a)。有一些理论分析(BenDavid等，2010；Hoffman，Mohri和Zhang 2018)来支持现有的MDA算法。早期的MDA方法主要集中在浅层模型上，包括两类(孙，石，吴2015):特征表示方法(孙等，2011；段、徐、常2012；Chattopadhyay等人，2012年；段、徐和曾(2012)和预训练分类器的组合(徐和孙(2012；孙和石2013)。一些新颖的浅层MDA方法旨在处理特殊情况，如不完全MDA(丁，邵，傅，2018)和目标转移（target shift ）(Redko等人，2019)。
• 近年来，基于深度学习的MDA方法被提出 ，如多源领域对抗网络(MDAN)(赵等，2018a，Zhao, H.; Zhang, S.; Wu, G.; Moura, J. M.; Costeira, J. P .;and Gordon, G. J. 2018a. Adversarial multiple source domain adaptation. In NeurIPS.)、深度鸡尾酒网络( deep cocktail network，DCTN)(徐等，2018)和矩匹配网络(moment matching network,MMN)(彭等，2019)。所有这些MDA方法都使用一个共享的特征提取器网络来对称地将多个源和目标映射到同一个空间中 。对于MDA和DCTN中的每个源-目标对来说，训练鉴别器来区分源和目标特征。MDAN将所有提取的源特征和标签连接到一个域中，以训练单个任务分类器，而DCTN为每个源域训练一个分类器，并使用困惑度分数作为权重来组合不同分类器对目标图像的预测。MMN通过动态调整特征分布的矩，将从多个来源学到的知识传递给目标。基于来自不同源域的分类器，目标图像的最终预测被均匀平均。与这些工作不同，我们使用非共享 特征提取器来获得每个源的特征表示，将目标特征非对称地匹配到每个源特征空间 ，提取具有所选代表性样本的预训练分类器，并使用新的加权策略 来组合不同分类器的预测。
• 这篇论文的relation写的很好，基本涵盖了现状，能给初学者很好的体验，也便于学习相关论文 。

---

Problem Definition

• 基本符号定义：

• 除非另有说明，我们假设
  （1）同质性（同构性） ：即x_i^j∈R^d，x_T^j∈R^d，这表明来自不同域的数据在相同的特征空间 中被观察到，但是呈现不同的分布；
  （2）闭集 ：即y_i^j∈Y，y_T^j∈Y，其中Y是类标签空间 ，表示所有的域共享它们的类别，也就是说所有域的分类数是一样的 。我们的目标是基于\{(X_i，Y_i)\}^M _i和\{X_T\}学习一个能够正确预测目标域样本的自适应模型。请注意，我们的方法可以很容易地扩展到处理异构DA （假设是同构，可以拓展异构，即不同域的数据不处在同一特征空间 ），方法是通过改变目标特征提取器的网络结构。(李等，2014；Hubert Tsai，Yeh和Frank Wang 2016)，拓展到开集 ，则是通过添加“未知”类 (Panareda Busto和Gall 2017)，或者通过仅对包含指定类别的那些域的预测进行重新加权 来处理类别变化的DA (Xu等人2018)。我们将在今后的工作中研究这种研究。

---

多源提取领域自适应

• 在这一部分，我们介绍了所提出的多源提取域自适应(MDDA)网络。MDDA是一种新颖的方法，通过彻底探索不同源和目标之间的关系来克服现有多源域适应方法的局限性。它通过基于这些关系微调和聚集源分类器 来实现对目标的更精确的推断。
• 如图2所示，MDDA可以分为四个阶段。我们首先用来自每个源的训练数据分别预训练源分类器 。然后，我们固定每个源的特征提取器，通过最小化源和目标之间的估计瓦瑟斯坦距离，将目标对抗地映射到每个源的特征空间 。MDDA学会了更有区别的目标表示，并通过使用以对抗方式不对称地将目标映射到源的特征空间的独立特征提取器，避免了多源和目标分布同时变化带来的振荡 。在第三阶段，选择更接近目标的源样本来微调 源分类器。最后，我们通过基于每个源和目标之间的差异聚集源预测来构建目标预测器 。我们提出了一种新的机制，在源域上自动选择加权策略 ，以强调更多的相关源并抑制不相关的源。通过以上四个阶段，MDDA提取了对学习任务既有区别性又对多个源域和目标域之间的转换不加区分的特征。我们将在以下小节中解释每个阶段 。

源分类器预训练

• 为了提取更多的任务区分特征并学习准确的分类器，我们为每个标记的源域预 S_i训练了一个特征提取器F_i和分类器C_i，不同域之间具有非共享的权重。以N类分类任务为例，通过最小化以下交叉熵损失 来优化F_i和C_i:

其中σ是softmax激活函数，另外1是indicator 函数，与共享特征提取器网络相比，提取不同源域之间的域不变特征(赵等，2018a徐等2018)，非共享特征提取器网络可以获得每个源域的区分特征表示和精确分类器 。当在后期基于源分类器和匹配的目标特征聚集多个预测时，最终的目标预测将得到更好的提升。

Adversarial Discriminative Adaptation

• 在预训练阶段之后，我们学习单独的目标编码器F^T_i，以将目标特征映射到源S_i的相同空间中。鉴别器D_i进行对抗性训练，以最大化正确分类来自 F^T_i的编码目标特征和来自预训练的F_i的编码源特征的瓦瑟斯坦距离，而F^T_i则最大化D_i出错的概率，即最小化瓦瑟斯坦距离（就是对D_i的优化用于使得两个域的数据更加可区分，而F^T_i的优化方向则是更加混淆两个域，从而使目标域和各个源域的分布接近）。类似于GAN (Goodfellow等人，2014)，我们将其建模为一个两人的极小极大游戏。接下来(Arjovsky，Chintala和Bottou 2017)，我们假设判别器\{D_i\}都是1-Lipschitz，然后我们可以通过最大化Wasserstein距离来优化D_i（下面只优化D_i）：

而对于F^T_i的优化，则是遵循下式：

就是对鉴别器的梯度取反。

• 这样，目标编码器F^T_i试图通过最小化编码目标特征与源特征之间的瓦瑟斯坦距离来混淆鉴别器D_i。
• 为了实施李普希茨约束(Goodfellow等人，2014)，我们为每个鉴别器的参数添加了梯度惩罚(Gulrajani等人，2017):

其中x'是一个特征集，它不仅包含源和目标特征，还包含沿着源和目标特征对之间的直线的随机点(Gulrajani等人，2017)。然后，可以通过以下方式优化D_i:

其中α是平衡系数，其值可以根据经验设定。

Source Distilling

• 我们进一步挖掘每个源域，根据估计的瓦瑟斯坦距离选择更接近目标的源训练样本，以微调源分类器 。这种源提取机制利用了更多相关的训练数据，并进一步提高了聚合源分类器的目标性能。我们根据估计的瓦瑟斯坦距离选择源样本，因为它可以表示源数据和目标数据之间的差异 。对于第i个源域中的每个源样本x_i^j，我们计算每个源样本和目标域之间的瓦瑟斯坦距离:

对于每个源样本 x^j_i，τ^j_i反映其到目标域的距离。τ^j_i值越小，越接近目标域。因此，在每个源域X_i中，我们根据每个样本的τ^j_i进行排序，然后每个域选择前N_i/2个τ^j_i更大的数据 。利用这些选定的源数据，我们对C_i进行微调，最大限度地降低以下目标:

Aggregated Target Prediction

• 在测试阶段，目标是准确地对给定的目标图像x_T进行分类。对应于每个源域，我们基于第二阶段学习的目标编码器提取目标图像的特征F^T_i(x_T)，使用提取的源分类器得到源特定预测C'_i(F^T_i(x^T))。接下来，我们组合来自每个源分类器的不同预测，以获得最终预测:

• 这里的关键问题是如何为来自不同源分类器的预测选择权重ω_i。我们基于每个源和目标之间的差异设计了一种新的加权策略 ，以强调更多的相关源并抑制不相关的源。在第二阶段的训练之后，我们假设每个源点和目标点之间的估计Wasserstein距离L_{wd_{Di}}服从标准高斯分布N(0，1)。因此，每个域的权重可以通过以下等式计算：

---

Experiments

• 我们评估了所提出的MDDA模型在多源域自适应任务中的视觉分类应用，包括数字识别和对象分类。

实验设置

• Benchmarks Digits-five包括从不同领域采样的5个数字图像数据集，包括手写mt (MNIST) (LeCun等人，1998年)、组合mm (MNIST-M) (Ganin和Lempitsky，2015年)、街道图像sv (SVHN) (Netzer等人，2011年)、合成sy(Synthetic Digits) (Ganin和Lempitsky，2015年)和手写up (USPS) (Hull，1994年)。以下(徐等2018；Peng等人，2019)，我们在mt、mm、sv、sy中对25，000幅图像进行训练，对9，000幅图像进行测试，并选择up中的全部9，298幅图像作为一个域。Office-31 (Saenko等人，2010)包含31个类别的4，110幅图像，这些图像是在3个图像域中从办公环境中收集的:A((Amazon))从Amazon.com下载，W((Webcam))和D (DSLR)分别由网络摄像机和数字单反摄像机拍摄。
• Baselines 为了比较MDDA和最先进的MDA方法，我们选择以下方法作为基线。(1)仅源，即在源域上训练，直接在目标域上测试。我们可以把这看作是DA的一个下界。(2)单源DA，通过单源DA进行多源DA，包括常规模型，即TCA(Pan等人，2011年)和GFK(Gong等人，2012年)，以及深度方法，即DDC (Tzeng等人，2015年)、(Ghifary等人，2016年)、RevGrad (Ganin和Lempitsky，2015年)、DAN (Long等人，2015年)、RTN (Long等人，2016年)、CORAL (Sun，Feng，和Saenko(2016年)、DANN (Ganin等人，2016年)和ADDA (Tzeng等人，2017年)(3)多源DA，将一些单源DA方法扩展到多源设置，包括DCTN(徐等，2018)和MDAN(赵等，2018a)。
• 对于仅源和单源DA标准，我们采用两种策略:(1)源合并，即将所有源域合并为一个传统的单源；(2)单一最佳，即对每个单一源进行自适应，并在目标测试集中选择最佳自适应结果。
• 实施细节 ：在Digits-5实验中，我们使用三个卷积层和两个全连接层作为编码器（即特征提取器 ），一个全连接层作为分类器。在Office-31实验中，我们使用Alexnet 作为主干。最后一层用作分类器 ，其他层用作编码器。根据(Gulrajani等2017)，我们在方程中设置公式（5）中的α为10。
• Comparison with the State-of-the-art ：表1和表2分别显示了数字-5和Office-31数据集的分类精度，以此衡量MDDA方法和最先进方法之间的性能比较。
  表1：

表2：

• 从结果来看，我们有以下观察结果：
  (1)仅源方法 ，即直接将源域上训练的模型转移到目标域，在大多数适应设置中表现最差。由于域偏移的存在，观察到的图像和类别标签的联合概率分布在源域和目标域中有很大的不同。这导致模型从源域到目标域的可传递性低。此外，即使有更多的训练样本，组合设置也不能保证比单一最佳设置表现更好。这是因为不同的源域之间也存在域移位，这可能会混淆分类器。例如，如果一个源域和目标域非常相似，如sv和sy，而其他源域却大不相同，那么简单的组合会扩大单最佳域和目标域之间的域偏移。这一观察证明了设计数据挖掘算法来解决域转移问题的必要性。
  (2)几乎所有的自适应方法都优于仅使用源的方法 ，证明了数据挖掘在图像分类中的有效性。比较Single-best DA和源组合DA，很明显，平均而言，源组合DA的性能更好，这与仅源的情况不同。这是因为在自适应之后，针对不同域的样本学习域不变表示。因此，在更多训练数据的帮助下，源组合的DA工作得更好。
  (3)一般来说，多源DA的性能优于其他适配标准。在比较采用类似适应架构的方法时，这一点更为明显，例如我们的MDDA vs ADDA (Tzeng等人，2017年)和MDAN (Zhao等人，2018a)vs DANN (Ganin等人，2016年)。在多源数据挖掘中，不仅源域和目标域之间的转换，而且不同源域之间的转换也被桥接，这通过探索不同源的互补性来增强适应性。
  (4)在大多数情况下，所提出的MDDA模型比最先进的多源方法表现得更好。一方面，在Digits-5和Office-31数据集上，MDDA相对于最佳源组合方法的性能提升分别为3.1%和0.5%。另一方面，与DCTN(徐等人，2018)和MDAN(赵等人，2018a)相比，所提出的方法在数字-5和办公-家庭数据集上分别实现了3.3%、4.8%和0.4%、0.9%的性能提升。这些结果表明，相对于最先进的方法，所提出的MDDA模型可以获得优越的性能。性能的提高得益于MDDA的优势 。首先，非共享权重能够学习每个源域的最佳特征提取器和分类器，这将提高聚合时的性能。第二，基于瓦瑟斯坦距离的新的加权策略可以更好地强调更接近目标的域。最后，对于每个源域，提取选择性样本来微调源分类器，这也更好地适应目标特征。

可解释性和消融研究

• Feature Visualization ：为了展示所提出的MDDA模型的适应能力，我们在任务:mt→up和mm→ sy中使用t-SNE嵌入来可视化对抗适应前后的特征。如图3所示，我们有两个观察结果:(1)当使用对抗性适应时，目标特征变得更加密集；(2)在对抗适应之后，目标域更紧密地匹配源域，这表明MDDA能够调整源域和目标域之间的分布。
  图3：

• 消融研究 ：所提出的MDDA模型包含两个主要部分:用于微调源分类器的源提取和用于聚集目标预测的新颖加权策略。我们进行消融研究，通过改变一个组件同时固定另一个组件来进一步验证其有效性。
• 我们将建议的加权策略与一个简单的基线进行比较:统一权重 。表3和表4分别显示了数字5和Office31数据集的结果。从结果中，我们可以观察到所提出的加权策略优于均匀加权。这是合理的，因为统一的权重没有揭示不同来源的重要性，这些来源可能与目标有不同的相似之处。通过考虑基于瓦瑟斯坦距离的不同来源与目标的相对相似性，所提出的MDDA在Digits-five和Office31数据集上分别实现了6.6%和1.1%的改进。这些观察证明了所提出的加权策略的有效性。
  表3：

表4：

表5和表6分别显示了在Digits-5和Office31数据集上通过提取的源样本对源分类器进行微调和不进行微调的比较。很明显，如果不微调，在大多数情况下，适应性能会下降。例如，通过在Digits-5和Office31数据集上进行源提取，我们可以实现0.3%和0.5%的平均精度改进。这证实了这些源的有效性，因为选择的源样本与目标样本更相似，并且微调的分类器可以增强可转移性。
表5和表6：

为了更好地证明源提取的有效性，我们给出了一个基于瓦瑟斯坦距离的ADDA方法的例子，当sy被设置为目标域而其他的被设置为源域时，在Digits-5数据集上提取前后。如表7所示，我们发现不同来源的源提取性能增益不同。对于与目标具有较大领域差异的源，例如mt至sy和up至sy，源提取可以产生较高的改善(分别为2.5%和2.1%)，而对于与目标具有较小差异的源，例如sv至sy (0.1%)、mm至sy (0.2%)，改善不那么明显。这是合理的，因为当一个源域远离目标域时，提取的样本可以使分类器更接近目标域。如果来源已经和目标非常相似，那么蒸馏样品的影响就不会那么明显。

• 模型可解释性 ：为了展示我们模型的可解释性，我们使用**Grad-Cam算法(Selvaraju等人，2017)**生成的热图来可视化我们提出的领域自适应方法前后的注意力。如图4所示，我们观察到在域自适应后:我们的模型产生的注意力可以更好地集中在更具“区分性”的区域，这表明即使背景或视点发生变化，我们的模型也可以更多地关注对象的区分性区域进行分类。这样的观察验证了我们的模型学习的特征对于不同的领域更不变，同时它们对于期望的学习任务(即图像分类)是有区分度的。
  图4：

图4:在Office-31数据集上进行对抗训练前后的注意力图比较。从左到右:(a)原始图像；(b)对抗训练前的注意力地图；©对抗训练前用注意图成像；(d)对抗训练后的注意图；(e)对抗训练后的带有注意图的图像。较亮的区域表示更受关注。对比显示，在对抗训练后，注意力转移到图像中更具辨别能力的区域。最好用彩色观看。

• 例如，第一行中的环形活页夹显示，在适应之前，模型聚焦于背景中的一个区域，而不是中心目标对象。然而，在我们的领域适应之后，该模型可以正确地集中在环形活页夹上，因此对于分类来说更有区别。类似的观察可以在第二和第三行中找到。在最后一行中，我们发现在我们的域适应之后，注意力在对象(笔记本电脑)的辨别区域得到了增强。

---

结论

• 本文提出了一种有效的多源域自适应方法MDDA。每个源域的单独预处理的特征提取器和分类器可以充分探索标记源数据的可区分性。对抗性鉴别自适应和源提取的目的是匹配目标特征分布和源特征分布，并微调预训练的分类器。设计了一种新的加权策略来联合组合来自不同源分类器的预测。在Digits-5和Office31基准上进行的大量实验表明，与最先进的用于数字和对象分类的多源域自适应方法(即DCTN)相比，MDDA实现了3.3%和0.4%的性能改进。在未来的研究中，我们计划将MDDA模型扩展到更具挑战性的视觉任务，如场景分割。我们还旨在研究能够将生成管道和区分管道结合起来用于多源域自适应的方法。