Self-supervised driven consistency training for annotation efficient histopathology image analysis

自监督驱动的一致性训练用于注释高效的组织病理学图像分析（2021 CVPR）

0、摘要

在本研究中, 我们借助两个新策略的任务诊断和特定任务的无标签数据来实现对这一挑战的有效应对: 首先, 我们提出了一种基于自我监督的学习框架, 以增强其作为无 supervision表征学习的有效性作为指导原则; 其次, 我们设计了一种结合教师网络与学生网络的新半监督一致性框架, 通过评估预测一致性来优化模型性能, 使预训练特征能够更好地适应下游目标.

我们在三个组织病理学基准数据集上进行了系统性评估实验，并涵盖了两项分类分析和一个回归分析任务

• BreasPathQ*: for downloading the dataset, visit this link: Overview - The Challenge

• Camelyon16 : 获取该数据集的具体步骤，请访问此链接：
  https://camelyon16.grand-challenge.org

  • Colorectal cancer tissue classification (Kather et al. 2019): to download the dataset, check this link :
    100,000 histological images of human colorectal cancer and healthy tissue | Zenodo

基于有限标签数据，在本研究中提出的方法带来了显著的提升效果，并且其性能与现有的最先进自监督方法相比不相上下甚至略胜一筹；超越了当前最先进监督学习方法的同时，在该领域仍具一定的创新价值。通过实验结果表明, 引导自监督预训练特征的方法是一种有效提升标准基准上特定任务半监督学习性能的方法.代码与预训练模型可通过以下链接获取

• Tumor Metastasis Detection (Breast) - 肿瘤转移检测（乳腺）
• Tissue-Type Classification (Colorectal) - 组织类型分类（结直肠）
• Tumor Cellularity Quantification (Breast) - 肿瘤细胞性量化（乳腺）

自监督学习是一种不需要大量标注数据的机器学习方法。它通过利用数据本身的结构特征来生成有效的特征表示。半监督学习结合了有标签数据和无标签数据的学习方法，在有限注释的情况下能够有效提升模型性能。在组织病理学图像分析领域中，自监督学习与半监督学习相结合的方法已经被广泛应用于数字病理学研究中。

1、简介

该深度神经网络模型已展现出卓越的表现，在多种组织学图像分析任务中展现出卓越的效果。这些研究不仅涵盖了疾病分级这一基础性问题、癌症分类这一核心任务以及结果预测（预后分析）等关键环节。然而，在获取此类大规模人工标注数据集方面存在高昂的成本与诸多挑战，并要求具备深厚的专业知识尤其是组织病理学领域的专业知识（Madabhushi和Lee, 2016）。近年来，随着自我监督与半监督学习方法逐渐受到关注与重视，在一定程度上缓解了对大量标注数据的需求压力；这些方法仅需利用现有的未标注数据即可完成训练工作，在计算机视觉领域已展现出显著的优势（Jing和Tian, 2020年；Laine和Aila, 2016；Sohn等人, 2020）。在医学影像分析领域则取得了可喜的进步（Chen等人, 2019；Tellez等人, 2019b；Li等人, 2020c）。本研究着重聚焦于基于自监督机制下的半监督学习范式，在诊断任务层面表现突出的同时也显著提升了特定领域的性能水平

已有的半监督+自监督文章。

在本研究中, 我们的观察结果激发了灵感, 开发出了一种创新性的自监督驱动型半监督学习框架, 专门用于组织病理学图像分析. 该框架通过以任务诊断与特定任务的形式充分利用未标注数据. 具体而言, 我们首先构建了一个基础而有效的自监督辅助任务, 即分辨率序列预测（RSP）. 这一设计选择受到病理学家放大缩小区域以不同分辨率探索组织学整体图像（WSI）的习惯启发. 一般而言, 病理学家会在WSI上从高到低的分辨率层次进行缩放操作, 以便细致地观察细胞及其周边环境. 在这项工作中, 我们发现利用这种有序的多分辨率上下文信息能够为无监督表示学习提供强大的替代信号.

其次，在此基础上进一步开发了一个"师生"半监督的一致性范式（Consistency paradigm），该方法成功地将自我监督的预训练特征表示有效地转移到下游任务中。我们的研究工作可被视为一种基于知识提取的方法（Hinton等人, 2015），其中自我监督的教师模型通过为特定任务的未标记数据生成伪标签来引导学生模型生成一致的预测结果。实验研究表明，在使用SSL预训练教师模型初始化学生模型时（即通过多领域的增强注入噪声），我们不仅实现了对噪声输入数据的鲁棒性（通过整合标记数据与未标记数据中的信息），而且显著提高了学生模型的学习效率（相对于教师学习方法）。整个框架经过端到端的系统优化，并实现了标记数据与未标记数据的有效结合

本文的核心贡献体现在多个方面。

• 我们创新性地提出了一种全新的自监督学习方案，并通过分析组织学WSI金字塔结构中的分辨率排序序列来推导出无 supervision视觉特征表示。
• 基于这一设计理念，在探索学生一教师型半监督学习框架时发现了一种有效的知识迁移机制：通过有效迁移学生网络在预训练阶段学到的知识到下游特定任务中，并结合目标领域特有的未标记数据信息进行一致化约束。
• 针对肿瘤病理分析的关键问题，在多组典型基准数据集上进行了系统性评估：包括两类临床分类问题（肿瘤转移检测与组织类型鉴别）以及一个回归型组织病理学分析（肿瘤细胞性定量）。实验结果表明：所提出的自 适应性增强方案结合一致化优化策略后，在各评估指标上均显著优于传统方法；尤其是在样本标注资源极度匮乏的情况下表现出了更强的学习效果。

2、相关工作

自监督学习+半监督学习

3、方法

图1详细呈现了我们提出的方法概览。该方法由三个主要部分构成：第一部分是对未标注数据集D_pre进行自我监督学习以获取基础特征表示；第二部分是在有限标注数据集D_fl上对SSL模型进行微调以获得特定任务特征；第三部分是基于标注数据集D_fl与未标注数据集D_fu相结合，在半监督框架下进一步优化目标模型性能。在此基础上我们还设计了一种半监督学习策略其中教师网络与学生网络均基于微调优化后的模型构建具体而言教师网络通过作用于未加标签图像的弱增强版本进行推断以生成伪标签而学生网络则旨在模仿这一过程通过对同一未加标签图像施加强增强处理后的版本进行预测以达到匹配伪标签的目的后续将详细阐述上述方法的具体实现流程

Self-Supervised pretext task

图2展示了我们提出的一种基于自监督表征学习机制的设计方案——分辨率序列预测任务（RSP）。该任务通过提供一个包含3个多分辨率斑块元组的输入集合，并从中选择6种不同的分辨率排列顺序中的某一种来进行训练。具体而言，在我们的实验设置中：i）首先通过convNet提取得到每个输入多尺度特征均为d=512维度的空间编码；ii）随后将这些单尺度特征经过成对连接处理后扩展至d=1024维空间；iii）接着通过两个全连接层（MLP）架构并结合softmax激活函数来推断出对应的分辨率为768维的空间编码以及相应的概率分布结果。实验结果表明，在所有情况下该方法均能稳定地收敛于预期的目标值并实现较高的准确率水平。

我们通过训练卷积神经网络（convNets）来学习图像表征，并预测各个可能分辨率层级上的排序关系；这些排序关系可以通过从输入图像的不同分辨率分块中提取并整合来获得。我们相信这一分辨率预测任务的成功将有助于CNN捕获丰富的视觉特征；这些特征既能够在较低放大率下有效捕捉整体背景信息，在较高放大率水平下也能精细刻画局部细节信息。

4、实验

4.1、数据集

表1呈现了我们在实验中所使用的三个数据集中的WSI数目及其相应的样本块分布情况。本节中我们简要概述了所有公开可用的三个数据集；然而，在本实验中采用的预训练、微调以及测试分割等特定的数据实现细节将在各自的子章节中详细阐述。

Camelyon16数据集在乳腺癌转移病例分类研究中被采用。该研究基于Camelyon16挑战赛（由Bejnordi等人于2017年发起）的数据集进行乳腺癌转移病例在微视野范围内的分类工作。该数据集共计包含399张H&E染色后的乳腺淋巴结切片图像样本，在此数据集中分为270张用于模型训练的数据图像以及129张用于验证测试的数据图像。这些切片样本分别来自两个不同的扫描设备，并且其标本级的空间分辨率分别为0.226微米/像素和0.243微米/像素；此外所有图像均经由经过专业培训的病理学家提供了详细的注释信息以供后续分析使用

camelyon实验是一个基于幻灯片的二分类任务，并仅依赖于幻灯片级别的标注信息来识别组织学切片（WSIs）中淋巴结转移的存在状态。为了模拟有限注释条件下的实验效果，在预处理阶段我们采用了自我监督学习的方法对60个WSI样本（其中35个为正常组织切片、25个为肿瘤切片）进行了预训练学习。这些样本全部来自原始训练数据集中的独立抽选样本群组。在预训练过程中：

• 对于RSP模型而言，在不同放大倍数下提取斑块：40倍放大率对应高分辨率区域（HR），而20倍和10倍放大率则对应中分辨率区域（MidRes）和低分辨率区域（LowRes）；
• 对于VAE和MoCo模型，则采用40倍放大率直接提取高分辨率区域斑块进行学习。
  在下游模型微调阶段：
• 从剩余未被使用的WSI样本群组中（共包含约211个样本），我们进一步随机采样大小为（256×256）的区域片段；
• 其中约81%的数据用于模型正式微调训练过程；
• 剩余约27%的数据则用于模型验证环节。
  最后，在测试阶段我们选取了包含约3万零六百三十个样本量的测试集进行评估工作（如表1所示）。通过这一系列实验分析流程：
• 我们将微调所用的数据集划分为四个层次递进的子集序列：
  • α={10%, 25%, 50%, 100%}；
  • 分别对应[约3万零六百三十个样本中的前]：
    • 3万零六百 thirty percent 的初始基础数据；
    • 累计至7万六千五百 sample容量；
    • 扩展至十万三千一百 sample规模；
    • 最终达到总样本量上限。

基于Wang等人的后处理方案

表4列出了采用多种方法预测滑动水平肿瘤转移时的AUC值。当标签比例设为10%时，RSP和MoCo方法的表现优于监督基准方法（Supervised Baseline），而VAE模型的表现则相对有所降低。值得注意的是，在10%和25%标签集的情况下，RSP+CR组合显著优于单独使用的RSP方法（差异约达2%）。与Camelyon16挑战赛（Wang等人）所提出的优胜方案相比，在使用约76,000个斑块（相当于25%标记集）时，本研究中提出的RSP+CR组合取得了最佳AUC值为0.917的成绩；而采用大量图像斑块训练的完全监督模型则获得了稍高的AUC值（0.925）。与Tellez等人（2019b）提出的无监督表示学习模型相比，在约3万斑块训练样本上（即10%标记比例），本研究中的RSP+CR组合展现出更高的AUC值；而在约5万斑块样本上（即约50%标记比例），两者之间的性能差距约为13%。此外，在包含4万斑块（其中包括2万肿瘤细胞和2万正常细胞）的验证集测试中，“随机+CR”的监督基准方案以仅差0.5%的优势超越了其他两种监督性方法

5、引用

Wang et al., 2016. Using deep learning techniques to identify metastatic breast cancer cases. This study was published as an arXiv preprint with the identifier arXiv:1606.05718.