Advertisement

开放集领域自适应OSDA(三):Separate to Adapt: Open Set Domain Adaptation via Progressive Separation论文原理

阅读量:

文章目录

  • 前言

  • 摘要

  • 1. Introduction

  • 2. Related Work

  • 3. Method

    • 3.1. Open Set Domain Adaptation
    • 3.2. Separate to Adapt
    • 3.3. Progressive Separation
    • 3.4. Weighted Adaptation
    • 3. 5. 训练过程
  • 4. Experiments

    • 4.1. Setup
    • 4.2. Results
    • 4.3. Analysis
  • 5. Conclusions


前言

该文章发表于2019年的CVPR会议中。本文是本人开发的开放集领域自适应OSDA(OSDA)系列中的第三篇论文。所有相关代码已发布在GitHub仓库:Domain-Adaptation-Algorithms。感谢各位专家与同仁的关注与支持,请多多点赞与Star!


摘要

在基于源域标记数据从未标记目标域训练准确分类器方面 域自适应技术已经取得了巨大的成功 在实际应用场景中 默认情况下 目标领域会包含源领域未曾见过的新类别 这种特定配置被称为开放集域适配(OSDA) 虽然已有多种针对OSDA问题的方法提出 但现有方法未能充分考虑目标领域的开放性 特别是从各类别未知类的比例角度 来衡量这种属性 开放性特征是该研究的重要关注点之一 其实质意义在于它对系统性能有着决定性的影响 针对上述挑战 在本研究中我们提出了一种全新的端到端自适应框架——分离到自适应(STA) 该框架通过逐步区分已知类别与潜在未知类别样本 来实现其分布对齐 同时赋予它们在对齐过程中的重要权重 这一创新设计使得我们的方法能够更好地应对各种类型的开放度情况 通过对多个具有不同开放度的标准数据集进行评估 实验结果表明 STAs系统表现出了显著的优势

1. Introduction

深度神经网络技术近年来取得了显著进展,在计算机视觉任务中展现出卓越性能。然而这一性能提升的基础条件在于需要获取标注数据集的需求往往很高,在实际应用场景中这通常是不可行的限制。当研究关注点所处领域的数据标注资源匮乏时,则需要寻找合理的替代方案以实现相关技术的有效迁移。为此我们定义研究关注点所在领域为目标领域而将具有丰富资源的基础领域称为源领域。然而不同领域的数据往往来源于不同的概率分布结构存在显著的领域间隙这种差异可能导致基于源领域的模型在目标任务中产生误判并进而影响整体性能[26,24]。
一种有效降低领域间分布差异的方法是域适应技术。现有的迁移学习方法主要尝试通过特征级别或像素级别的统计匹配来缩小领域间差异[36,4,17,19,35,3] [10,31,11,22,16]然而传统的封闭式迁移学习方法假设源领域与目标领域拥有相同的类别标签空间即所谓的闭集迁移学习方法[25]这种方法在野外应用中仍存在局限性因为无法有效应对没有先验知识支撑的目标标注空间情况因此近年来研究者们提出了更为灵活的开放式迁移学习框架即所谓开放集域自适应 OSDA [25 30 21]本文将主要遵循Saitoet等人提出的框架其中目标领域的分类任务不仅包含所有源领域的类别还包括一些专属于目标领域的独特类别如图所示在此设定下我们需要对已知类别的样本进行准确分类并将所有未知类别的样本归为待识别类别由于缺乏关于这些未知类别的先验知识所以无法对其进行直接分类这种设定更加贴近现实尤其是野外环境下的应用场景由于难以限定特定的目标类别边界因此开放式框架更具实用性

在这里插入图片描述

图2

在这里插入图片描述

图2展示了实现开放集自适应分离自适应(STA)方法的具体过程。其中用灰色形状标记的目标域数据与用彩色形状标注的源域数据形成对比关系;具体来说,则根据类别归属的不同进行区分。(a)图中给出了一个典型的开団领城适配问题示例;在这个案例中所有来源类别都包含在目标领域内;而目标领域还包含了未知类别。(b)通过训练多组二进制分类器G_c |^{|\mathcal{C}_s|}_{c=1}来获取粗略权重系数;这些权重系数用于区分目标领域中存在的未知类别与已知类别之间的差异。(c)进一步优化权重分配…(d)最终实现了对齐后的状态;此时共享区域中的目标数据已经非常接近其对应的源领域计数器组件的位置表现出来较为鲜明的效果

  • 本节简要回顾了与我们相关的工作,包括域适应和开放集识别的设置。
  • 闭集域自适应 。闭集域自适应方法旨在缓解域差异带来的性能下降。一种典型的方法是最小化特征分布之间的统计距离。深度适应网络(DAN)[17]将适应层添加到深度网络中,并将分布的内核嵌入之间的最大平均差异(MMD)降至最低。中心矩差异(CMD)[38]通过仅匹配一阶和二阶矩,类似地实现域自适应。剩余传输网络(RTN)[19]通过增加一个快捷连接和熵最小化准则来改进DAN。联合适应网络(JAN)[20]匹配源域和目标域的特征和标签的联合分布。最大分类器差异[29]通过近似H实现域自适应∆H距离[1],并通过特征自适应将其最小化。受生成性对抗网络[6]的启发,领域对抗学习被引入到领域适应中。领域对抗性神经网络(DANN)[4,5]和对抗性区分性领域适应(ADDA)[35]使用一个领域鉴别器来区分两个领域,同时学习特征提取器以在领域对抗性训练范式中混淆领域鉴别器。条件域对抗网络(CDAN)[18]通过匹配标签和特征的联合分布来改进DANN。不幸的是,封闭集域自适应方法不能应用于开放集域自适应,因为它们存在负迁移,不能拒绝未知类。
  • 开放集识别 。为了在测试过程中正确地对内联词进行分类,已经进行了大量的开集识别文献。Scheireret等人[32]提出了一种1-vs-set机器,用于从边缘距离描绘决策空间。开放集SVM分配概率分数以拒绝未知样本[13]。它们通过紧凑的衰减概率模型得到进一步改进[33]。Bendale等人[2]引入OpenMax层来利用深层神经网络进行开集识别。此外,开集NN[14]扩展了最近邻分类器,以识别未知类别中的样本。请注意,在开集识别场景中,存在不属于训练数据集中的类的异常值。然而,在开放集域自适应中,两个域的共享类中的目标样本和源样本进一步遵循不同的分布,使得任务更具挑战性。
  • 开放域适配 。这就是我们的工作范畴。迭代分配和变换[25](TI)利用每个目标样本的特征与每个源类中心之间的距离来确定目标样本属于源类还是未知类。开放集反向传播(OSBP)[30]训练特征生成器,使目标样本被分类为“未知”的概率偏离预定义阈值。他们在对抗性的训练框架中训练他们的特征抽取器和分类器。然而,对于这两个类来说,当域差异显著时,或者源类和目标类之间的开放性在很大范围内变化,尤其是过大时,就会出现问题。
  • 我们开发了一个独立的适应(STA)网络来解决开放集域适应问题。我们的方法对各种开放性水平都具有鲁棒性,并且不需要在已知和未知类之间手动选择阈值参数。

3. Method

  • 在本节里, 我们将介绍我们提出的方法, 接着详细阐述训练流程. 图3展示了STA的体系结构.
在这里插入图片描述
在这里插入图片描述

3.1. Open Set Domain Adaptation

基本设置

在这里插入图片描述

Investigating open-set recognition approaches, the study by Scheirer et al. was published in the IEEE Transactions on Pattern Analysis and Machine Intelligence journal in July 2013. The paper details a novel method for addressing challenges in open-set recognition within this prominent academic venue.

本研究针对开放集域自适应问题,在此基础上构建了一种全连接分离自适应(STA)框架。该框架通过依次分离目标域中的已知类别样本与未知类别样本,并基于共享类别信息动态调整分类器与特征提取网络之间的关系,在有效降低测试集误差的同时实现了训练集性能的提升。具体而言,在训练阶段构建了一个可迁移的特征提取网络G_f(x)以及一个具有自适应能力的分类器组y=G_y(G_f(x));在测试阶段则通过优化两者之间的平衡因子实现对未知类别样本的有效识别。

3.2. Separate to Adapt

  • 开放域适应的主要挑战体现在负迁移与已知/未知分离现象上。两者之间存在相互作用机制。其中负迁移现象表现为学习者在使用领域适应算法后表现不如仅基于源领域训练的分类器。在开集域自适应任务中闭集方法试图将目标域与源域完全对齐 但这种做法会导致目标域中的未知类别也被视为与源数据相匹配 这种明显的错位关系会引发负迁移现象 负迁移问题通过仅对已知类别进行特征调整来解决 从而导致了第二个主要挑战 即需区分目标域中的已知类和未知类 并针对已有标签的数据进行自适应处理
在这里插入图片描述

3.3. Progressive Separation

为了区分目标域中的未知类别与已知类别中的数据分布差异性问题, 我们设计了一种从粗到精的筛选机制. 该机制基于一个由|C_s|个二元分类器构成的多分类系统(用G_c|^{| C_s |}_{c=1}表示)来进行特征学习. 每个二元分类器仅基于源数据进行训练, 并通过损失函数优化来提升判别能力. 这种方法能够有效度量每个目标样本与各个源类别之间的相似程度, 并在此基础上实现精准的数据分隔.

在这里插入图片描述

其中L_{bce}代表二元交叉熵损失函数,在输入样本的真实标签为类别c的情况下(即当ys_i=c时),指示函数I(ys_i,c)的值为1;否则其值为0。对于每一个二元分类器G_c来说,在处理某个目标样本时会输出一个概率值p_c用于评估该样本属于已知类别c的可能性大小。由此可知概率p_c实际上反映了该目标样本与类别c之间关系的相似程度。在这些共享领域中发现的数据集通常显示出更高的概率分布在某个特定的已有类别上而非未知类别。

  • 我们使用 p_1p_2,…,p_{| C_s |}中的最高概率,作为每个目标样本x^t_j和源域之间的相似性
在这里插入图片描述

基于此定义,在源域中同类别的目标数据与其对应的源域数据间表现出高度的一致性;相反地,在源域中不同类别间的未知目标数据与其对应的各类别间则呈现出较低的一致性。

因此,在目标样本集合中按照相似度进行排序后,并从中筛选出相似度最高或最低的样本用于训练二元分类器 G_b 。这种基于极端相似样本的选择方法虽然显得较为粗略但具有较高的可信度因为只考虑了极少数具有显著相似性的样本数据因此这种方法对于不同开放度的数据表现具有很强的一致性与鲁棒性由于无需人工干预也无需依赖优化工具来设定超参数参数选择过程因此这种方法能够适应不同开放度的数据分布情况。
另一种过滤策略是将相似性划分为三个等级即高概率中等概率与低概率类别然后采用最高概率聚类计算出平均值s_h将其作为已知类别目标数据集的标准阈值所有满足s_j≥s_h的数据点被归入已知类别同样地我们还计算出最小概率聚类的平均s_l将其作为未知类别数据集的标准阈值并选取满足s_j≤s_l的所有数据点归入未知类别。
通过多层二进制分类器对样本进行初步分类后我们进一步利用二进制分类器 G_b 对这些被筛选后的样本进行精确分类以实现更细致的数据区分。

在这里插入图片描述

在该渐进分离过程中,我们能够将两类数据分为细粒度形式(G_b),使过程更为精确。

3.4. Weighted Adaptation

  • 对于对抗域适配部分,我们首先定义源域的分类损失,如下所示:,
在这里插入图片描述

其中L_y"代表交叉熵损失函数;具体来说就是:在源域中应用了一个由\left|C_s\right|个已知类别与目标域中新增的一个"未知"类别结合使用的扩展分类器;这样的设计使得分类器具有\left|C_s\right|+1"个输出神经元的能力;而\ G^{1:\left|C_s\right|}_y "则用于计算将每个样本分配到\left|C_s\right|个已知类别之间的概率。

我们需着重调整模型以使源数据与目标数据在共享标签空间 C_s 中的分布得到对齐。避免将生成器 G_b 的输出直接用作已知类别与未知类别之间的硬区分工具。相反地,则建议采用生成器 G_b 的Softmax输出结果作为软实例权重。具体而言,则是通过计算公式 w_j=G_b(G_f(x_j)), 其中当 w_j > 0.5, 表示该样本来自潜在未知类别的概率更高(因而应尽量减少其权重, 以便于在对抗域训练时不予考虑;若采用硬区分方法, 则会完全排除此类样本参与对抗域训练)的基础上, 在共享标签空间中定义特征分布具有抗性的加权损失函数。

在这里插入图片描述

此外,在目标域中选择未标记类别中的样本,并为新增的"未标记类别"训练模型 G_f。通过权重 w_j 来衡量已知与未标记类别之间的区分度,并将其作为区分"未标记类别"时所关注的重点。

在这里插入图片描述

其中,l_{uk}被视为一个未知类别,并且经过一系列训练过程后确定其特征属性。同样地,在这一框架下定义的另一项指标表示为分类器G_y将目标样本分配至该类别之概率

我们进一步在目标域的已知类别中引入熵最小化损失项L_e,以确保决策边界穿过目标域中低密度区域[7,19]。这一策略通过加权增强来优化模型性能。

在这里插入图片描述
在这里插入图片描述

3. 5. 训练过程

该研究将整个训练流程划分为两个主要阶段:已知/未知分离阶段与加权对抗适应阶段,并在此两步之间实现交替优化机制。具体而言,在已知/未知分离阶段中,
我们首先分别对特征提取器与分类器进行联合优化。
随后,
多二进制分类器集合\{G_c\}针对每个源类别c=1,2,…,|C_s|分别进行一对一的学习任务分配。
特别地,
为了进一步提升细粒度区分能力,
我们将来自目标域与源域相似度较高的样本配对用于细粒度二元分类器的进一步训练。
其中,
\theta_f,\theta_y,\theta_b,\{\theta_c\}_{c=1}^{|C_s|}分别代表上述各网络模型的参数向量。
根据实验结果表明,
最优参数设置为\theta'^{f}, \theta'^{b}, \theta'^{y}以及\{\theta'^{c}\}_{c=1}^{|C_s|}能够达到最佳性能表现。

在这里插入图片描述

第一步的核心目标是实现已知与未知的分离 ,通过Lcls方法确保源域分类的精确性,并采用具有|C_s|+1个分类神经元的分类器Gy来进行这一过程。为了保证对共享类仅进行二分类的任务(记为Ls),该系统使用|C_s|个二分类分类器Gc来分别处理共享类的学习任务。此外还引入了Lb模块用于训练额外的一个二分类分类器Gb,并基于过滤策略对目标样本是否属于未知类别还是已知类别做出初步判断;随后通过Gb进行后续训练以优化模型性能。

  • 第二步在这一步中,我们实现了对抗性自适应,将目标域中已知类的特征分布与源域中的特征分布对齐,并使用未知类的数据为额外类训练 G_y在这一步中,我们继续使用源样本训练分类器,以保留已知类中的知识 。使用θ_d表示域鉴别器G_d的参数,最佳参数θ'_fθ'_yθ'_d可实现如下:,
在这里插入图片描述

其中λ是一个超参数,用于权衡熵损失。

以下是基于给定规则对原文的改写内容

关于损失的部分

后续的操作

基于所提出的分离自适应(STA)模型,在目标域中能够有效地区分已知类别与未知类别数据。首先,在第一步中识别并剔除异常数据样本,在第二阶段进行对抗性优化处理以提升第一步中的去噪效果。值得注意的是,在该方法设计过程中无需人工设定任何超参数,在实际应用中自然地适应了数据分布的变化特性。

4. Experiments

我们对STA模型进行了评测,并对其中开放集域适配的最新方法进行了对比分析。经过深入分析后发现……代码资源及数据集均已发布于GitHub平台(链接)。

4.1. Setup

  • Office-31[28]是计算机视觉领域自适应的标准基准,有三个领域:亚马逊(a)、网络摄像头(W)和数码单反(D)。它包含来自31个类别的4652张图片。我们遵循之前的工作[30],在目标域中使用同一组已知类和未知类。这些任务代表源域和目标域之间存在较小域差距的性能。
  • Office Home[37]是一个具有挑战性的领域适应数据集,通过多个搜索引擎和在线图像目录进行爬网。它由4个不同的领域组成:艺术(Ar)、剪贴画(Cl)、产品(Pr)和现实世界(Rw)。每个域包含65个对象类的图像。我们选择(按字母顺序)前25个类作为源域和目标域共享的类26-65个班属于未知类 。我们在两个领域之间双向构建开放集领域适应任务,形成12个领域差异显著大于Office-31的任务。
  • VisDA-2017 有两个领域,其中Synthetic由152397个3D对象的合成2D渲染组成,仅此一个领域就由55388个真实图像组成。他们共有12个类。我们按照[30]构造了开放集域自适应任务。该设置验证了STA在大规模合成到真实学习任务中的有效性。
  • Digits 有三个标准的数字分类数据集:MNIST[15]、USPS[12]和SVHN[23]。每个数据集包含从0到9的数字。与之前的工作[30]一样,我们构造了三个开放集域适应任务:SVHN→MNIST,MNIST→USPS和USPS→MNIST。
  • Caltech-ImageNet 由ImageNet-1K[27]和加州理工学院-256数据集构成。我们将84个常见类固定为已知类,并将未知类从0到916进行更改,以验证其对各种开放性级别的鲁棒性。
  • 我们将STA与几种开放集识别、域自适应和开放集域自适应方法进行了比较[30]:开放集SVM(OSVM)[13]、DANN[4]、RTN[19]、OpenMAX[2]、ATI-λ[25]、MMD OSVM、DANN OSVM、ATI-λOSVM和OSBP[30]。OSVM是一种基于SVM的方法,对每个类别使用阈值来识别样本和拒绝异常值。MMD OSVM和DANN OSVM是OSVM的两个变体,在OSVM中包含最大平均差异[8]和域对抗网络[4]。OpenMax是一种深度开放集识别方法,其模块设计用于异常值拒绝。ATI-λ通过将目标域中的图像分配到已知类别,将源域的特征空间映射到目标域。在我们的设置中,没有特定于源代码的类。因此,我们通过交叉验证手动选择ATI-λ的超参数λ。OSBP是最新的开放集域自适应方法,通过对抗式分类器处理未知类的样本,实现了最先进的性能。
  • 对于闭集方法,我们使用置信阈值来确定样本是否来自未知类。在我们的实验中,我们将每种方法运行三次,并报告平均准确率。由于篇幅限制,表1的标准偏差被省略
    表1
在这里插入图片描述

基于之前的研究工作[25,30]的基础上, 我们提出了四个关键性能指标: OS: 基于所有类别进行的标准化精度, 其中包含对未知类别的单独计算; OS_: 仅针对已知类别计算的标准化精度; ALL: 不做类别平均处理的实例准确度; UNK: 专门用于评估未知样本准确度. 在Digits和VisDA-2017数据集上, 我们采用了与OSBP[30]相同的实验设置, 用于全面评估不同方法的性能. 此外, 我们还针对ResNet-50作为主干网络的情况, 在Office Home和Caltech ImageNet数据集上进行了广泛比较研究. 当深入探讨具有更大领域差异及开放性的场景下STA的有效性时, 我们同样采用ResNet-50作为主干网络进行研究

  • 对于非数字数据集,我们使用骨干网络VGGNet[34]和在ImageNet[27]上预训练的ResNet50[9]来训练拟议的STA模型。对于数字数据集,我们使用LeNet[15],从头开始训练模型。域对抗网络与DANN[4]相同。所有从零开始训练的层的学习率是预先训练层的10倍。我们使用动量SGD,在网格范围内搜索学习率为10−3到1通过交叉验证,动量设置为0.9,重量衰减为0.0005。

4.2. Results

  • 如表1所示,STA在具有不同评估指标的数字数据集上优于以前的开放集方法。注意,在任务SVHN中→在域隙较大的情况下,STA对OSBP有较大的改善,进一步证明了STA在大域隙下的有效性。
  • 在具有挑战性的VisDA-2017数据集上,我们进一步将STA与之前的方法进行了比较。STA在大多数类上都取得了更好的性能,验证了STA在处理大规模数据集以及合成数据和真实图像之间非常大的域差距时效果良好。
    表1
在这里插入图片描述
  • Office-31的六个核心任务的实验结果如表2所示。实验结果显示,在大多数核心任务上,该方法均显著优于其他现有对比方法。值得注意的是,在部分关键任务中发现,基于闭集域自适应的方法表现甚至略逊于ResNet模型。即使引入置信阈值进行筛选,在开放集域自适应场景下仍存在显著性能下降的问题。
在这里插入图片描述

Office Home系统在源领域与目标领域之间呈现出显著的分布差距与完全分离的标签区间,在实际应用中面临着极大的技术挑战。通过分析表3中的数据可以看出,在大多数测试任务上基于STA的方法均显著超越了现有的所有算法。值得注意的是,在一些特定的任务场景下,传统的开放领域自适应方法(open domain adaptation)的表现甚至不及ResNet主干网络(ResNet backbones),这一现象主要归因于这些方法在处理未知类别与原生类别之间适应时存在的局限性。值得注意的是,在这种情况下跨领域的分布距离以及标签空间的巨大差异会进一步放大来自未知类别带来的负面迁移影响,并最终导致系统性能的重大下降。为了有效规避这些问题,在开展分布匹配之前我们采取了一种独特的策略——先对含有潜在干扰类别的样本进行识别与分离处理

在这里插入图片描述

4.3. Analysis

消融研究 。我们将STA与Office-31数据集上表4中STA的变体进行比较。
表4

在这里插入图片描述

(1)相比仅对源样本进行域对抗学习(无加权)的STA版本,在领域对抗学习中未加权目标样本的表现较差。这表明将未知类别样本与源样本对齐可能导致负迁移并降低性能指标(如准确率等)。因此我们建议采用加权方法以有效区分已知类别与未知类别样本。(2)相比于仅使用softmax分类器替代多标签二进制分类器(TA without CW),STA在性能上实现了显著提升这表明多标签二进制分类器能够生成更好的相似度矩阵从而能够独立地衡量目标样本与各个源类之间的关系。(3)相对于仅基于单标签二进制分类器(无b)的STA版本 STA进一步优化了性能这表明引入双标签分类器能够更加精细地区分未知类别与已知类别样本之间的界限。(4)相比起TA without j即两个步骤之间没有交替进行的情况 STA进一步优化了该方法验证了分开处理与自适应的重要性。

为了考察STA在不同开放度下的鲁棒性能,在Office-31数据集上进行了实验分析。我们选取了开放度O从0到接近1的范围进行测试(其中O=1表示没有目标类未知的情况)。图4显示,在传统开集适配方法中只有当opennessO接近于0时才能获得较好的性能表现。值得注意的是,在这种情况下(即当opennessO接近于0或1时),模型的整体性能会出现明显下降现象:这是由于这些方法容易将已知类别与潜在类别混淆导致的后果。为此类问题提供解决方案的方法包括ATI-λ和OSBP等算法:它们通过调节参数λ和t的变化范围,在一定程度上缓解了对开集敏感的问题;然而这些方法都依赖于模型训练前对开集特性的先验知识假设:这在实际应用中往往难以满足需求条件。基于排序机制构建多二进制分类器的方法——STA——则无需进行任何先验处理即可实现对_openness_变化的鲁棒适应:其核心机理在于能够维持目标域分类器输出特征空间与背景领域分布之间的稳定关系;此外研究结果还表明:当_openness_接近于0时_STA算法仍然优于DANN算法的表现(如表2所示)。这进一步研究表明:这种分离机制不仅有效提升了模型性能,并且能够有效去除已知类别中的噪声样本干扰

在Caltech-ImageNet平台上进行了一系列具有显著变化的实验。这些实验设计贴近现实世界环境,并包含多个未知类别。结果如图4所示。通过实证分析发现,在已知类别样本上的性能表现明显优于以往方法,并且在所有测试条件下成功识别了异常值。

在这里插入图片描述

权重属性 在图5(a)与图5(b)中,我们分别探讨了任务A→W与VisDA-2017上样本相对于权重w(已知/未知二元分类器Gb的输出)的比例关系。其中,白色方框标记已知类样本,在目标域中黑色方框表示不可识别类别样本。当源域与目标域高度相似的情况下(如Amazon和Webcam),不可识别类别的输出值接近于100%,而可识别类别的输出值趋近于0%,这表明STA算法成功地将目标样本精确地区分了可识别类别与不可识别类别。通过分析图5(b),我们发现即使在源域与目标域存在较大差异的情况下(如Synthetic到Real转换),STA依然能够有效地划分两类样本的表现特征。

在这里插入图片描述

特征可视化 。我们在图6(a)至图6(d)上,在任务Amazon-.DSLR上展示ResNet、DANN、OSBP和STA模型的最终层特征。通过观察发现:未知类别与部分已知类别之间的特征呈现高度相似性甚至相互融合的现象较为常见;此外,在学习过程中发现ResNet与DANN均未能有效区分已知类别与未知类别(图6a)。值得注意的是:尽管DANN通过将源域样本特征与其对应的目标域样本进行精确配准(图6b),但该过程仍伴随着负面迁移现象(此处指其对抗层在平衡性方面存在不足)。相比之下,在图6c中我们看到:尽管已知类别与未知类别的部分特征有所分离(此处指两种分类器之间的差异度),但其关键问题在于目标已知类别的分布状态尚不理想(此处指该分类器未能达到预期效果)。具体而言,在O值设置为0.677的情况下(如图6d所示),基于斯塔的方法成功地将目标域的关键分类器特征与其对应的源域主分类器特征进行了精确配准;与此同时,在这种开放度下即使未识别出特定领域相关联的对象其分布状态依然保持较为合理。

在这里插入图片描述

5. Conclusions

在本研究中,我们采用了一种创新性的分离适应(STA)模型来应对开发布局的关键技术难题——即系统对未知类别样本的识别能力。该模型通过渐进机制实现了未知类别与已知类别样本的有效区分,并使已知类别特征与不同源域的数据实现了精准对应。经过多组典型数据集的实验验证,在各类交叉分布场景下展现出良好的通用性能。

全部评论 (0)

还没有任何评论哟~