Hard Class Rectification for Domain Adaption域适应中的硬类修正

摘要
域适应从标签丰富和相关的域（源域）转移知识到标签稀少的域（目标域）。伪标签最近用于DA，但这一类研究仍限于伪标签不准确。本文，深入探究类内性能的不平衡性，发现类间差的性能很有可能在伪标签中进一步恶化。不仅损害整体性能而且限制了DA的应用。本文HCRPL：（1）提出自适应预测校正（APC），来校正目标样本的预测。（2）进一步考虑被校正的目标样本的预测，尤其对于那些被分到硬类的（对扰动很敏感）。为防止样本被很容易误分类，引入了暂时集（TE）和自集合（SE）来得到一致的预测。
提出的方法在UDA和半监督域适应SSDA上被评估，实验结果在几个真实世界跨域基准上。

1 引言
伪标签化被引入DA中来解决之前的限制：通过交替地选择高置信预测的目标样本作为伪标签目标集合（标签化阶段）和用源域和伪标签目标集合来训练模型（训练阶段）。
但不可避免的 错误伪标签 会带来问题。用错误的伪标签样本重新训练DNN不能保证目标域的泛化能力。目标域上的期望误差由错误伪标签率（错误伪标签样本数/伪标签样本个数）决定。
Zou提升了伪标签从两方面：（1）引入了自步学习，从易到难生成伪标签来减轻伪标签的误差累积。（2）使用不同的置信阈值来对不同类选择一个目标伪标签集合。之后引入置信正则化来避免过自信的标签。

本文：图1所示，分类器在源域训练，三个类有不同的效果。
类1属于简单类：较高预测类比例（分到一个特定类的样本数量/目标样本数量）属于这些类的目标样本很有可能正确分类不用额外操作。在源域上训练的分类器可以很好的泛化到目标域的这些类上。
类2属于正常类：中等预测类比例。尽管一些属于它的目标样本被错误分类，有较高置信度的预测有较高的准确率。因此，现有伪标签方法逐渐提升这些类上的性能，通过向训练中添加较高置信预测的样本。
类3属于硬类：有较低的预测类比例。同时，对硬类，甚至有较高置信预测的目标样本也很可能被错误分类，将这些样本添加到训练中将误导分类器。
因此，伪标签方法不能提升硬类的效果甚至损坏，这是正常和硬类间的主要区别。

解决硬类问题：提出自适应预测校准APC，校准目标样本的预测来提升硬类，来提升硬类保持正常类和减轻简单类。
进一步，伪标签中校准预测是不稳定和不可靠的。(1）DNN对目标样本脆弱因为远离源域；（2）APC将进一步放大和损害硬类的不鲁棒性，因为它们的预测被成比例地扩大。
为确保校准预测的可靠性，提出两个集合方法：暂时集合TE和自集合SE。

提出的方法可直接与现有的伪标签方法结合。本文，基于CBST ，提出新的伪标签框架结合了APC,TE,SE来减轻硬类问题，HCRPL。
贡献：
（1）揭示了DA中的硬类问题，降低了伪标签的效果限制了应用；
（2）提出一个校准方法APC来通过提升硬类、保持正常类、减弱简单类从而减轻硬类问题。进一步，由于分布误匹配和差异放大，目标样本的预测很脆弱。因此，引入了TE和SE来提升预测的可靠性。
（3）四个公共数据集上评估HCRPL在UDA和SSDA设定下。

3 硬类问题
W作为源域，A作为目标域，然后采用CBST来解决它们之间的域偏移问题。为研究类级别 的效果，选择precision, recall, f1-score作为度量方式。与仅在源域训练相比，CBST提升了大多数类上的性能。进一步用较低的precision, recall, f1-score来观察类。这些类被叫做硬类，因为低precision 代表高置信度的大量预测都是错误的，低recall 代表高置信度的正确预测很少。结果，硬类问题可能进一步恶化这些类的性能。例如，第28类的precision, recall, f1-score大量降低。

硬类问题导致的两个问题：
（1）所有类中最差的性能比平均的更相关。例如，将源域知识转移到目标域的异常检测时，我们希望检测每个类型的异常类，但是硬类问题将导致硬类差的性能。
（2）硬类问题在整体转移性能上有负面效果。

定理3.1 目标样本上的期望误差：（1）源域上期望误差；（2）源域分布和目标域分布间的域差异；（3） 理想联合假设的共享误差。
本文关注第三项：理想联合假设C的共享误差。总的来说，目标域上的期望误差由错误的伪标签率决定。
接下来，将硬类问题与错误的伪标签率联系起来：（1）分到硬类中的目标样本很少，模型不能学习针对硬类的目标判别表示。（2）硬类问题将导致误差累积，增加错误的伪标签率，因为伪标签化可能以高置信度选择错误的预测，并且这些错误预测将误导分类器。

4 方法
4.1 先验知识
给定一个源域Ds={(xis,yis)}i=1msD_s={(x_i^s,y_is)}{i=1}^{{m_s}和一个目标域Du={(xiu)}i=1muD_u={(x_i}u)}{i=1}^{{m_u}，定于i伪标签集合Dl={(xiu,yiu})}i=1mtD_l={(x_i^u,\hat{y_iu})}{i=1}^{m_t}。同时，假设源域和目标域包含相同物体类，C类。SSDA设定下，源域和标记目标集合的联合被认作新的源域，而未标记目标集认作新的目标域。
提出的HCRPL属于伪标签化，但不同的是其中目标样本在每个epoch而不是round后被预测。为更清楚地描述，标签阶段分为预测和挑选阶段，整个过程包括三个阶段：
（1）训练阶段：用训练集合DtrD{tr}训练网络；
（2）预测阶段：生成目标样本DuD_u的集合预测Z；
（3）挑选阶段：选择自信预测的目标样本作为伪标签集合DlD_l。
一个round：从训练网络到更新DtrD_{tr}。提出的APC, TE, SE被纳入预测阶段。

4.2 自适应预测校准
核心部分！硬类问题中，目标样本很难分类到硬类，导致硬类的预测类比例较低。一种方法：放大硬类的预测比例，保持正常类的，削弱简单类的。为了控制预测类的比例在合理区间，尝试减小目标域预测的和真实的类比例之间的误匹配，但实际中后者未知。所以用源域的类比例代替，这是合理的因为：
（1）源域和目标域标签比例总是接近的，在很多实际应用中有效；
（2）实验证实了标签比例的少量不一致会稍微影响转移效果，
目标域DuD_u首先送入训练后的模型得到预测P={piu}i=1muP={p_i^u}_{i=1}{m_u}，然后定义一个比例R：源域类分布q(y)比预测类分布p(y)

q(y)=1ms∑i=1msyis,p(y)=1mu∑i=1mupiuq(y)=\frac{1}{m_s}\sum_{i=1}^{m_s}y_is,p(y)=\frac{1}{m_u}\sum_{i=1}^{m_u}p_iu，
R：C维向量，第i维是属于第i类的难度程度。最后，校准预测P：

用R来校准P。对一个特定类c，如果类c的预测概率很小，也就是类c是硬类，APC将增加将目标样本划分到类c的概率。

4.3 暂时集合和自集合
为确保预测的可靠度，进一步引入两种集合方法TE和SE。对于TE，整合多个分类器的预测对于获得一致预测很重要。与ATDA用多视角损失构建两个分类器不同，我们采用基于暂时集合的方法，将每个epoch后训练的模型作为一个分类器。因此，不必构建多个分类器，保存参数个数和避免多视角损失。
每个epoch后在目标域上评估模型，更新集合预测ziz_i用EMA（指数移动平均）。

EMA可以记忆所有预测，并在最近的上面更大权重。α\alpha是EMA梯度，最近的预测间给由更高的比例以一个较低的α\alpha。如果α=0\alpha=0，集合预测ziz_i等于当前预测的piup_i^u。特别地，集合预测ziz_i用于在挑选阶段选择伪标签样本。
对于SE，将两个不同增强的预测整合。将目标样本送入训练模型两次用不同的梯度增强并得到预测pi1up_{i1}^{u和pi2up_{i2}}u，然后计算平均预测P1+P22\frac{P_1+P_2}{2}。为了得到较低的熵预测，进行一个额外的步骤叫做Sharpening，定义：

T温度，较小时得到较低熵的预测。最后得到预测P

这里认为分布误匹配和差异放大会导致预测脆弱性。因此，有必要引入TE和SE来稳定预测。

4.4 整体预测过程
训练阶段：用训练数据集DtrD_{tr}训练网络，第一个round，将源域DsD_s作为训练数据集DtrD_{tr}，之后训练数据集用伪标签目标集合DlD_l和源域DsD_s的联合更新。训练目标定义为：

其中，H(p,q)是一个标准交叉熵损失函数。当伪标签目标样本数量增加时，网络学习更加目标判别性的表示，避开给你逐渐增强在目标域上的转移性能。

预测阶段：想得到准确鲁棒的预测，尤其对硬类，提出APC,TE,SE来调整目标样本的预测。分为五个部分：（1）目标集合被增强两次，得到对应预测P1和P2.（2）难度比例R（先验类比例q(y)/预测类分布p(y)）计算；
（3）APC用于校准预测P1,P2;
（4）计算平均预测；
（5）集合预测Z用EMA更新。

选择阶段：选择更高置信度的预测作为伪标签。CBST考虑-不同类应该由不同置信阈值，并动态调整阈值来由易到难生成伪标签。类平衡的自学习solver为：

5 实施细节
对于VGG和ResNet，将最后一个全连接层用一个随机初始化的C-way分类层替代。在第r轮中，选择每个类别中前p%的高置信度目标样本，p=min(r*5+10,90)。在第一轮，网络用标记数据（UDA中的源域，SSDA中的源域和标记的目标数据）。
5.6 分析
5.6.1 不同先验类比例的影响
我们分别将源域和目标域的边缘类比例设为先验类比例，结果表7所示。前者的整体转移准确率仅比后者低0.4%，证实了采用前者可以来校准预测是合理的当后者未知时。
5.6.2伪标签准确率
（1）随着训练进行，测试准确率稳步增加，证明了方法的稳定性，因此可以更好适应多种环境。
（2）测试准确率与准确率和伪标签数量保持紧密关系。
5.6.3 发现硬类
首先比较仅源类和CBST。关注于混淆矩阵中第28类的性能，属于这一类的大多数样本被错分到第23类当仅源域训练时。在伪标签化之后，预测更集中于第23类，由于错误预测以高置信度进行误导。
进一步，我们发现简单类的预测类比例在进行伪标签化之后更高了，导致了这些类precision的下降，这也是伪标签化的缺点。
进一步从硬类角度分析HCPRL的性能。首先，HCPRL避免预测退化到仅几类的情况，证明HCRPL可以控制每个类的预测类比例在合适范围，并提升简单类的precision。（2）发现大多数类的precision比CBST和仅源域的好。召回率与cbst和仅源域相当或稍好、总的，类级别的效果超过了CBST和仅源域。特别对于硬类，效果明显更好，验证了我们的方法确实可以减轻硬类问题。

6 讨论与结论
6.1 优点
揭示硬类问题，不仅提升整体性能而且提升所有类中最差的性能。
6.2 缺点
限制了应用。基本假设：源域和目标域有相似类别比例，在实际应用不行，比如部分DA，开放集DA。使用APC明显会错误校准预测，导致大量错误的伪标签。因此，准确地干扰目标域的边际类分布应进一步研究。另一方面，提出的HCRPL可以有效提升硬类的准确率但在召回率上影响较小，实际应用中很重要。

6.3 结论
为解决硬类问题，提出APC来根据每个类的难度程度校准预测。进一步引入SE和TE提升目标样本的模型鲁棒性，尤其对于属于硬类的那些。