OPEN-SET RECOGNITION WITH GRADIENT-BASED REPRESENTATIONS

OPEN-SET RECOGNITION WITH GRADIENT-BASED REPRESENTATIONS

摘要：

用于图像分类任务的神经网络基于推理过程中任何给定图像都属于训练类别之一的前提。这种严格限制的实际应用中遇到了挑战,因为模型可能遇到未知类别输入。
开放集识别旨在通过拒绝未知类别而正确分类已知类别以解决这一问题。
我们建议采用从已知分类器获得的梯度表征特征仅针对已知类别训练一个未知检测器。通过分析模型更新所需的梯度信息,我们深入理解了其学习特征与输入空间的关系。
我们的方法适用于任何基于监督学习的方法处理已知类别的分类问题,而无需明确建模未知样本分布。
实验结果表明,基于梯度的方法在开放集分类任务上表现超越当前最佳方法11.6%。

1.引言

尽管深度神经网络展现了其在诸多应用场景中的显著应用前景[1, 2]。然而由于其往往面临来自新环境的数据挑战 因此即使经过了大量测试 它们的实际部署效果仍存在较大不确定性。此外 深度神经网络主要建立在其对封闭世界环境的潜在假设基础之上 即认为所有推理过程中的输入样本均源自预先定义的数据范畴。这种基于有限训练集的认知模式导致其对于那些超出预设范围的新奇样本往往难以做出合理的判断 将所有新奇样本强行归类至预设类别中即使这些新奇样本与其本质特征存在明显差异[3, 4]。值得注意的是 深度神经网络倾向于表现出过度自信的特点 即使面对着完全陌生的对象也会做出判断 这种倾向使得识别出潜在的新未知对象与其他预设类别的边界变得更加困难[5]。特别是在涉及生命安全的关键领域 如自动驾驶系统以及医疗诊断系统等 深度神经网络的行为表现往往会导致严重后果

基于消除封闭世界的假设的方法用于解决这一问题。相反地，在这种情况下，测试样本可能属于任何类别，包括在模型训练期间未知的类别。大多数文献中的方法主要分为两类：判别性模型与生成性模型。鉴别性建模方法[5-9]的目标是学习已知类别的数据分布，并区分用于分类的任务以及用于检测未知类别的已知与潜在未知类别。生成建模方法[10-11]则致力于合成潜在未知类别的样本以辅助区分已知类别中的样本。然而，在现有的大部分方法中都存在一个共同局限：它们仅关注于学习特征空间

在本研究中,我们提议采用基于梯度的表征方法进行开放集识别任务,这是对先前工作[12]的自然延伸.我们深入探讨了混杂标签的作用机制,并成功开发出一种基于梯度的表征方法,能够有效区分模型处理熟悉输入与未知输入的能力.我们的研究重点在于通过梯度信息来获取模型参数调整的关键洞察,而不仅仅依赖于单个模型学习到的特征.实验结果表明,所提出的表征方法具有良好的泛化性能,可以在开放环境应用中稳定工作,其中训练阶段并未引入未知类别样本以建立已知与未知类别之间的明确区分线.

2.相关工作

开放集识别(OSR)旨在识别未知类别并将其与已知类别区分开来。Scheirer等研究者提出了一种基于支持向量机的方法，在已知类别超平面上增加额外超平面以区分未知类别。Bendale和Boult建议使用OpenMax层替代Softmax层以获得未知类别的概率值。Ge和 Neal等人提出利用生成网络创建合成样本作为额外类来训练开放集分类器。Yoshihashi等研究者利用分层重构网络的潜在表征进行稳健的未知检测。Oza和Patel采用了新型训练与测试设置的类条件自动编码器进行研究。Sun等人建议学习条件高斯分布以实现已知分类与未知检测的结合。然而，在现有方法中几乎全部依赖于基于已有知识特征描述未知对象。

基于梯度的方法被视为核心工具之一[13]。它不仅最初被用作解决搜索收敛问题之外的技术手段[14]还扩展至多种应用场景如数据可视化[15, 16, 17]对抗性攻击生成模型[18, 19]以及特征表征提取[20, 21, 22]等方向。研究者们还深入研究了如何从梯度中提取有效的表征特征并将其应用于图像质量评估分布外检测异常识别等多个领域的问题[23, 24, 25]。然而目前关于梯度表征的有效性探讨仍相对局限地停留在开放集识别这一特定应用场景中

3.基于梯度的表征的开放集识别

在本节中, 我们阐述了一个基于梯度表示法的开集识别框架. 我们详细说明了训练与测试阶段涉及的分类器与未知检测器的设计方案, 并证实了梯度表示法在开集识别场景下的有效性.

3.1.拟议的开放集识别框架

在先前的研究工作[12]中, 我们提出了一个新的框架结构, 该框架能够获取基于梯度的空间表征, 并采用混杂标签来识别异常样本。我们推测, 梯度反映了模型对正确表示每个样本所需的最小变化量。为了探索未知类别数据的表现特性, 我们在预先定义好的特征空间中引入了一个未曾见过的新类标签。当输入数据属于已知类别时, 观察到的数据分布变化能够帮助模型更好地识别新类别的特征。然而, 在面对不属于当前训练数据范围的新数据时, 这种分布差异可能会影响参数更新的效果, 因此可能会导致更大的参数调整幅度。

开放集识别可被视为我们先前研究工作的自然延续。
该方法通过从分类器中获取的梯度特征来训练一个未知样本检测器，并从而实现对未知样本的拒绝。
同时根据分类器的设计意图将已知类别样本进行分类处理。
如图1所示，我们展示了基于梯度表征的开放集识别框架设计。
给定一个经过充分训练的学习函数f(θ)，并输入图像x。
计算模型输出与混杂标签之间的二元交叉熵损失。
这里所指的是长度为N的一个矢量yc，
其中N代表训练过程中类别的总数，
具体范围为n 2 f0; ::; Cg n f1g。
该损失值被反向传播以生成参数梯度，
这些参数是由模型中的各个参数块所构成，
其梯度大小依次连接形成，
如上所述。

基于未知检测器d作出判断后完成最终分类决策：如果识别结果为已知类别，则继续使用原有的分类机制（c 2 f0; N - 1g）；若识别结果为未知类别，则模型将输出类别N。综合来看,其结果将包含(N+1)个可能类别.

3.2.封闭集训练和开放集测试

该方法用于解决开放集识别问题并分为两步：首先区分出仅包含已有类别数据样本的封闭集合，并与扩展数据集合结合使用；在此基础上，在每一轮循环中将整个封闭集合划分为多个子集合，在每一轮循环中分别对这两个子集合进行特定操作；为避免模型过度依赖特定领域知识，在每次循环中随机选取若干个未见过的新类样本加入到当前子集中进行联合学习。此外，在图2中详细描述了这一数据分割协议的具体实现方式，并通过颜色协调的方式深入阐述了各步骤的核心逻辑以确保流程清晰易懂。

在进行任何基于开放领域识别任务的网络训练时（无论是构建分类器还是进行未知类别检测），我们都无法获得来自未知类别的样本数据U；而像已知类别数据Kk这样的标准训练样本会被系统性地划分为两部分：一部分用于已知类别的分类器学习（Kk），另一部分则用于后续开发未知类别检测模型（Ku）。具体而言，在封闭域分类器的学习过程中（即针对已知类别的分类任务），我们首先利用来自标准训练集的所有已知类别样本（数量为KK）来构建一个封闭域分类器。随后，在收集所有基于梯度的信息以生成特征表示的基础上[其中 Ku = Ktrain ] ，我们就可以同时训练和验证一个能够识别潜在未知类标的模型。此外，在这一过程中我们还同时利用了来自所有标准训练样本集合K_{train} 的数据来进一步优化模型性能。

针对开放集识别框架开展的相关测试研究, 我们目前主要依赖于前一阶段训练好的封闭类目分类模型, 并结合专门用于识别 '开放类目' 未知样例的一套检测机制. 具体而言, 我们将所有待测样本划分为已知类别与潜在未知类别两组, 将其输入至封闭类目分类模型, 并通过模型预测输出及梯度特征提取来获得样本级别的表征信息. 接着, 我们将这些基于梯度的信息传递至经过预先训练好的 '开放类目' 检测机制中, 以判断每个待测样本更倾向于归属已知类别还是潜在未知类别. 最后, 根据检测机制给出的结果对每个待测样本进行归类处理, 并决定是否将其原本归于已知类别的判定结果替换为新的 '潜在未知类别' 标签.

3.3.基于梯度的表征的有效性

在本节中，我们重点阐述了梯度在开放集识别环境中的有效性及其应用前景。首先设置了两个测试场景进行深入探讨：第一种场景中选取的数据全部源自同一数据集（共10个类别），其中前6个类作为已知类别而剩下的4个类则作为未知类别；第二种场景则采用了来自不同来源的数据集（ImageNet和LSUN）作为未知类别进行测试。为了更清晰地展示实验结果，在第一种情况下将已知类别进一步划分为4个子类和2个子类以便于后续分析；而在第二种情况下则直接采用原始数据进行处理以保持实验的一致性。通过训练ResNet-18分类器并在每种测试场景下分别收集已知类别和未知类别的梯度分布情况（如图3所示），我们能够直观地观察到梯度值在两类别之间存在显著差异：具体而言，在所有情况下已知类别的梯度均显著低于未知类别；然而当已知类别数量较多时这一差异更加明显（如图3(a)和(b)所示）。特别地，在第二种测试场景下（如图3(c)所示），由于采用了不同来源的数据集作为未知类别来源导致的梯度分布呈现出明显的分隔特征这一点得到了充分验证：通过将未知类别的梯度分布用红色圆圈标记出来可以更直观地观察到这种分离现象的存在性

4.实验

本节中所述内容涉及基于梯度特征的方法，并通过混合标签实现开放集识别任务。我们从两类指标——开放集识别性能与开放集分类准确率——来评估该方法的表现。当我们在单一数据集中划分已知类别与未知类别时，在关注未知数检测的基础上，默认分类器已经能够较好地区分出已知类别样本。对于这类问题，在关注未知类样本检测的基础上，默认分类器已经能够较好地区分出已知类样本。然而，在实际应用中却面临两个关键挑战：首先是在仅依赖单个数据源的情况下提高模型鲁棒性；其次是在面对N+1个可能选项时保证分类准确性。具体实施细节将在后续章节中详细阐述。

4.1. 开放集识别

在开放集识别任务中, 我们采用了经过广泛验证的有效配置, 即从10个主要类别中随机选择6个作为'已知'类别(K), 剩余4个作为'未知'类别(U). 其样本来源于与这些'已知'类别相同的CIFAR-10数据显示集. 在Ktrain数据集中, 我们选取了4个'已知'类别中的KK以及2个'未知'类别中的KU, 并利用这些数据对未标记检测器进行了训练. 在这一过程中, 我们重复使用了5种不同的随机划分方案, 并将结果汇总于表1所示. 该研究证实, 通过仅使用4+2分类的数据进行微调, 我们的未标记检测器能够在验证集中实现低于90%的准确率. 然而, 这一性能表现较之于最近一些改进型方法仍有不足. 这一点主要归因于所使用的4+2分类策略所带来的梯度大小分布差异较小的问题.

4.2. 开放集分类

对于开放集分类任务而言，在本研究中我们采用了CIFAR-10数据集作为已知类别基准数据集，并将ImageNet和LSUN数据库（经过尺寸调整和裁剪处理）作为未知类别的样本库。具体实施方法是将每个用于未知分类的数据集的测试样本添加至CIFAR-10基准测试集中。这样设计使得无论是已知类别还是未知类别的测试样本数量均为10,000个（即1:1的比例）。参考第3.3节中关于图3(b)和(c)的内容描述，在本研究中我们采用6-4类分割策略对CIFAR-10训练集进行重排以训练一个未知检测器模型。为了获得可靠的评估结果，在实验过程中我们重复进行了5次不同的随机划分实验，并将表2中的数据结果显示为已知与未知类别组合情况下的开放集分类准确率。在上一节关于开放集识别实验的部分中发现：当采用4-2类分割策略进行模型训练并评估其在6-4类分割组合上的表现时（如图2所示），二元分类器输出的最大AUROC值不仅达到了理论最佳阈值（高于常规设定的阈值），而且平均达到了显著较高的水平（超过90%）。基于这一发现，在当前研究中的开放集分类实验中我们将未知检测器模型的决策阈值固定为较高水平（设定为0.95）。与基于梯度的方法相比，在本研究中提出的未知检测器表现出显著优越性（见表3）。值得注意的是，在本研究中所选择的所有未知类别样本均来自与模型训练数据来源不同的数据库；这与我们之前工作中提出的分布外检测框架设置具有高度一致性[12]。基于梯度的方法在分布外检测方面的性能表现与当前提出的未知检测器方法具有可比性。通过一系列实验结果表明：梯度特征能够有效地捕捉并识别出模型潜在存在的未被识别出的新类别样本

5.结论

在本文研究中提出了一种基于梯度特征的方法用于异常样本检测。该方法不仅能够有效识别出未知类别的样本实例,还能够同时保留了已被正确归类的数据点。实验结果表明,在无异常数据的情况下,所提取出的有效特征仍然可以在开放集识别场景下发挥作用。通过分析正常类别样本来区分已有类别与新类别间的差异,我们成功地将这一技术应用于多领域数据分类任务的研究中