Dynamic Classifier Alignment for UnsupervisedMulti-Source Domain Adaptation

摘要

现有的方法大多侧重于从单个源领域转移知识，但单个源领域的信息可能不足以完成目标任务。为了丰富可转移信息，以往的一些研究转向了多视角表征。然而，它们只是简单地连接多视图特征，这可能导致信息冗余。本文提出了一种多源域自适应的动态分类器对齐（DCA）方法，该方法通过样本自动对齐多视图特征驱动的分类器。研究每个视图的重要性和每个源域的贡献。为了确定多个视图的重要程度，通过生成辅助分类器构建了一个重要学习函数。为了学习源组合参数，开发了域鉴别器来估计样本属于多个源域的概率。同时，提出了一种借助伪目标标签增强源分类器跨域能力的自训练策略。在真实视觉数据集上的实验表明了该方法的优越性。

1. introduce

在利用源知识解决目标任务时，如何收集足够的信息进行传递是至关重要的。多视图表示和多来源的领域自适应由于能够提供更丰富的可转移知识而备受关注[21]，[22]。多视图特性丰富了数据级的可用信息，而多数据源丰富了领域级知识。

面向领域自适应的多视图学习首先将视图对齐和知识转移问题统一起来[23]。为了融合多视图特征的视图不变知识，引入多视图之间的映射来学习公共空间中的数据对应关系。为了将知识传递到目标视图，在样本空间和特征空间中同时采用边缘分布和条件分布。为避免单源域的分类不完备，探索多源域，开发了一种跨域、跨源的分类算法，克服了分类缺失带来的缺口。

然而，以往许多采用多视图特征的领域自适应方法侧重于将特征合并到一个公共空间或简单地将它们连接在一起，而忽略了视图特定信息或每个视图特征的重要性。此外，一些方法混合域来学习在多个域上执行的通用分类器，但忽略了所有域可能不存在共同特征空间的事实[24]。本文提出了一种无监督的多源域自适应方法——动态分类器对齐（dynamic classifier alignment， DCA），该方法探索了多视图特征的重要性，通过自动对齐来自多个域的多视图预测来完成目标任务。我们的贡献有三个方面：

1. 提出了一种新的方法来学习多视图特征的重要性，并对它们进行重新加权，以确保在合并预测时优势特征的贡献更大。不同于现有的将所有视图特征平等对待并串联起来的方法，该方法考虑了特征所携带的特定信息，避免了拼接导致的信息冗余。
2. 我们通过选择对训练过程具有高置信度的伪目标标签来构建自训练策略。通过迭代地将目标域划分为训练集和测试集，提高了源分类器的跨域能力。与许多伪标签领域自适应方法不同，该方法不需要原型来初始化标签。
3. 开发了一种自动样本智能方法来学习权向量，以结合来自不同视图和源分类器的多个预测来估计目标标签。这与现有依赖特征距离的组合规则不同。同时，该方法在样本上而不是在批次上探索视图重要性和域之间的相关性，更准确。

2. 动态分类器对齐方法

本文提出的分类器对齐方法的整体框架如图1所示。它包括特征提取、分类器对齐、伪标签选择和目标任务完成。特征提取收集共享特征和特定的多视图特征。共享源特征用于学习识别样本属于源域概率的域鉴别器，而自适应的特定多视图特征用于训练一系列分类器。将从不同视图学习到的多个分类器线性混合生成每个源域的辅助分类器，然后基于辅助分类器开发重要性学习函数来学习多视图特征的重要性，以便对分类器进行对齐。同时，学习到的分类器提供伪标签来监督进一步的训练。利用共享特征训练的域鉴别器计算出的目标样本属于源域的度，最后结合源分类器预测目标标签。

2.1 特征提取

在图像分类任务中，为了避免原始图像的高维和复杂结构，将原始图像转换为特征空间。由于需要源域和目标域的不变信息来实现传递，为了测量域之间的相似度，首先使用预训练的深度网络对原始数据进行变换，提取携带不变信息的特征。我们注意到使用预训练网络提取的特征作为共享特征，其中术语“共享”表示提取的特征处于相同的潜在空间中。提取可表示为

共享特征可以携带源域和目标域的不变信息。在此基础上，训练由源特征驱动的域判别器，计算提取的共享特征属于源域的概率。将学习到的域鉴别器应用于目标特征时，可以获得源域和目标域之间的相关性，从而帮助预测目标任务。域鉴别器Gd可以表示为

如文献[24]所证明的，可能不存在能够很好地表示所有域的特征空间，因此需要特定的特征来适应每对源域和目标域。这里我们提取多视图特定的特征，对于第k个源域，第m个视图特征可以表示为

为了提供源分类器的跨域能力，源和目标分布进行匹配以减少差异。这里用MMD来测量分布距离。根据前人的研究[8]，给定数据集，，在不同的分布下，MMD的解可以写成

, 为对应的样本量，H表示再现核希尔伯特空间，K为核诱导特征映射。将其应用于提取的多视图特定特征，对于第k个源域，我们调整源和目标特征的每个视图，以确保每个视图源分类器具有预测转换到相同视图特征空间的目标样本的能力。对第m个视图特征进行域级自适应的损失函数表示为

在训练过程中，由于参数是在批处理中更新的，nsk；nt可以用批量大小代替。

2.2 分类器对齐

通常，对齐多视图特征是学习分类器的常用方法。但是，连接特征可能导致冗余信息。有些研究混合了特征，但不同观点的特征可能有不同的维度，造成异质性问题。本文提出了分类器对齐。根据结构风险最小化原则[39]，基于第m个视图特征Pskm的第k个源分类器的监督学习处理损失可以表示为

L是交叉熵损失，估计预测与基本真值标签之间的误差，即

为了定义对齐参数，首先为每个源域生成一个辅助分类器。它可以表示为

其中Mk是视图数，通过一个线性函数随机初始化。但是，这种组合不能保证权重是非负的或。此外，在不考虑每个样本的特性的情况下，为所有样本共享。因此，我们建立了一个基于辅助分类器的重要学习函数来解决这个问题，它在样本上动态计算权重。该函数估计多视图分类器的贡献，该函数在第k个源域中的约束为

M是视图标签。将辅助分类器应用于源样本，并将相应的输出输入重要性学习函数，权重向量为

对齐的分类器为

在源标签的监督下，通过最小化辅助分类器和对齐分类器之间的误差来进一步控制重要性学习。匹配分类器的损失函数可以表示为

由于我们有多个源域，我们期望多源分类器在预测相同的目标样本时能够获得相同的标签。因此，采用跨域约束来减少来自不同源域的多个分类器之间的预测目标误差，可以表示为

2.3 伪标签选择和目标任务完成

为了提高学习源分类器的跨域能力，除了跨域约束外，还引入了一个额外的约束——伪标签监督，以提高从源域到目标域的迁移性能。

由于标签噪声的存在，并不是所有的伪标签都可以用来监督训练。引入不正确的目标标签可能会降低性能，这是非常危险的。

为了收集正确概率高的伪标签，制定了一种选择策略，设置与训练进度相关的阈值E和步长q来定义何时可以添加伪标签。如图2所示，将未标记的目标样本从多个视图馈送到源分类器中，输出可分为易预测和难预测两组样本。易于预测的样本以高概率获得相同的标签，而难以预测的样本以低概率获得多个标签或相同的标签。收集高置信度的伪标记目标样本进行进一步训练。

由于我们在每个源域中有多个视图分类器，当训练迭代大于E时，将伪目标标签表示为正确的高置信度，其概率为

分别。是使用多个分类器选择获得相同预测标签的目标样本的操作。定义了第n个类别的阈值，以选择用于训练的伪标签。如果我们将相应的目标样本视为高置信度样本。否则，将不被选中。收集到的伪目标样本将用于监督进一步的训练。迭代选择（通过步骤q），直到训练结束或没有未标记的目标样本可用。在伪标签监督下，第k个源分类器的损失函数可以表示为

在有伪标签的情况下，进一步训练的(7)中的损失函数可以重写为

为了完成目标任务，结合源预测是一种常见的策略。利用式(2)中学习到的域鉴别器，则目标样本与源域的相关性可计算为