【半监督医学图像分割 2023 CVPR】BCP
【半监督医学图像分割 2023 CVPR】BCP
论文题目：Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
中文题目：双向复制粘贴半监督医学图像分割
论文链接：https://arxiv.org/abs/2305.00673
论文代码：https://github.com/DeepMed-Lab-ECNU/BCP
论文团队：华东师范大学&上海交通大学
发表时间：2023年5月
DOI:
引用：
引用数：
摘要
在半监督学习的医学图像分割任务中，存在具有标注信息与未标注信息的样本在分布特性上的经验性不匹配问题。若分别对待具有标注信息与未标注信息的样本或采取异步处理策略，则可能导致其从中获得的知识在较大程度上被遗失
我们设计了一种直接的方法来解决这一问题，在基于简单的Mean Teacher架构的框架下，实现了有标签数据与无标签数据之间的双向转移。这种方法通过引导未标注数据通过内部和外部学习一致的语义信息来实现目标。
重点在于设计一种一致学习流程来缩小经验分布差距。具体而言，我们通过从已标记图像中随机裁剪并复制到未标记图像上的前景部分；同时将未标记图像中的前景部分被复制至其对应的背景区域进行处理。
这两张融合图像经过预处理后输入了一个学生网络模型，并采用了伪标签与真实标注数据结合的方式作为监督信号。通过对比分析发现，在仅依赖有标注与无标注数据间的双向复制机制下表现出良好的效果。实验结果表明，在仅依赖有标注与无标注数据间的双向复制机制下相比现有先进的半监督学习方法在医学图像分割任务中实现了显著提升（例如，在ACDC数据库中实现了约21.5% Dice系数的增长，并且仅使用了约5%的真实标注样本）。
1. 简介
从计算机断层扫描（CT）或磁共振成像（MRI）等医学图像中提取内部结构对许多临床应用具有关键价值[34]。已有诸多基于监督学习的医学图像分割方法被提出[4,13,45]，一般而言需要大量标注样本进行训练。然而，在进行医学图像标注时由于人工勾画过程耗时且费用高昂近年来半监督分割方法逐渐成为研究热点并逐渐在医学图像分析领域得到了广泛应用
通常情况下，在半监督医学图像分割任务中，标记样本与未标记样本均来源于同一分布（如图1(a)所示）。然而，在实际应用中，由于标注样本数量有限，在仅利用标注样本估计其真实分布时存在一定挑战。因此，在大量 unlabeled 数据与少量 labeled 标记样本之间往往会出现经验分布不匹配的问题[30]（如图1(b)和©所示）。为了协调两者的关联关系并提升分割性能的方法统称为半监督分割技术。例如，在自 supervision框架下通过生成伪标签来辅助无标签数据的学习过程[1,48]。Mean方法基于教师模型框架[40]通过一致性损失函数实现对具有增强特性的无标签样本的学习指导作用。此外,DTC架构则聚焦于构建两个互相关联的任务分支以促进信息共享ContrastMask则引入密集对比学习策略分别作用于标注与非标注区域以优化特征表示质量。然而，在现有研究中发现大多数半监督分割方法仍存在以下共同特点：它们通常在同一学习范式下同时利用标注与非标注样本进行训练。
图1展示了半监督学习环境下数据分布不匹配的问题描述。假设训练数据集来源于潜在分布（a）。然而，在仅有少量标注数据的情况下，构建与之对应的完整数据分布依然面临挑战。(d) 通过采用BCP方法，在标记样本与未标记样本之间实现了特征分布的一致性。相比之下，现有方法如SSNet[35]等无法有效解决这一经验分布不匹配的问题。(e) 所有提到的数据分布均基于ACDC[2]数据库中的心肌体细胞核密度估计模型。
CutMix[42]被广泛认为是一种既简单又强大的数据处理方法，在学术界也被称为复制粘贴(CP)技术。该方法可能促进未标注样本与标注样本之间的语义共融性发展，并因为同一幅地图中像素之间的共享语义关系较为紧密这一特点而备受关注[29]。在半监督学习框架下，强制使未标注样本弱增强与强增强之间的一致性策略已得到广泛应用[11,14,32,47]。然而现有的CP方法仅考虑通过CP交叉未标注样本来生成新的样本实例，并且往往仅依赖于从标注样本中截取图像块并将其粘贴到非标注样本上这一单一途径[6,9,10,14]。这种做法忽视了构建一致的学习策略以适应分布差距缩小的需求，并未能有效发挥增强网络泛化的潜力。此外由于通过剪切混合图像获得的标注信息质量较低因此难以达到较高的性能水平这一瓶颈问题依然存在。引入更为精确的监督机制以修复由CP切割导致的信息退化是一个直观且有效的方法
旨在解决两者的知识或经验不一致的问题
我们通过意外发现一种简洁而高效的双向复制-粘贴（BCP）方法来达成这一目标，并将其在Mean Teacher框架中具体实现。
具体来说，在训练学生网络的过程中, 我们采用数据增强的方式, 将标注图像(前景)上的随机裁剪部分迁移至未标注图像(背景)上, 同时将未标注图像(前景)上的随机裁剪部分迁移至标注图像(背景)上, 从而提高输入数据的质量.
学生网络基于教师网络，在无标注数据集上的辅助标签与带标注数据集的真实类别分布之间进行信息传递。该过程被生成的监督信号所指导。
这些混合图像有助于网络实现双向和对称的学习过程以获取有标签与无标签数据间的共同语义。基于当前最先进技术和我们开发的方法训练出的模型，我们计算并展示了来自LA数据集[39]中具有代表性的有监督和无监督训练集的Dice分数（如图2所示）。传统的模型通常分别针对具有监督学习特征的数据以及无监督学习特征的数据进行单独处理，在这些数据类型之间表现出较大的性能差异。例如，在现有研究中发现MC-Net在具有监督学习特征下的Dice值达到95.59%，但在无监督学习特征下的表现则降至87.63%。这表明传统模型能够有效地利用来自真实世界知识的信息，然而在将其应用于无监督学习场景时却丢失了大量信息。与现有方法相比，我们的研究方法显著缩小了两者之间的差距（见图1(d)）。值得注意的是，在具有监督学习特征下的Dice值方面，本研究提出的方法表现略低于其他现有技术。
图表2展示了基于LA数据集的不同模型在无标注和有标注训练样本上的Dice指标[39]。我们通过该方法发现采用该技术时，在性能指标上与现有对比呈现出较小的优势。
基于三个流行的数据库LA[39]、胰腺-NIH[21]以及ACDC[2]对BCP进行了验证。经过大量实验对比分析发现，在ACDC数据库上的标记效率提升至5%，而在性能指标方面超越了21%。通过烧蚀实验分析表明所提出的模块均具有良好的效果。值得注意的是，在引入新参数方面我们并未做任何改动
2. 相关工作
2.1 医学图像分割
从医学图像中提取内部结构对于许多临床应用而言是必不可少的关键步骤[34]。目前的医学图像分割技术主要可分为两大类：一类是基于深度学习的2D/3D分割网络架构的设计[3,4,13,18,20,49]；另一类则是通过整合医学领域的先验知识来优化模型训练过程[23,28,33,38]。
2.2 半监督医学图像分割
在半监督医学图像分割领域上,研究者们做出了诸多贡献
2.3 复制粘贴
复制粘贴是一种既简便又强大的数据处理手段，在多个任务中展现出显著效果[7,9,6,25,5]。一般来说，复制粘贴是指将目标区域进行剪裁后并将其移动至另一个场景中以完成操作。如MIXUP[43]与CutMIX[42]所示的技术分别代表了混合整体图像与混合图像裁剪领域的经典方案。近年来的研究大多在此基础上进行了拓展以解决特定问题。GuidedMix-Net[25]通过MixUp技术实现了已标记数据知识向未标记数据的有效迁移，并成功生成高质量伪标签以辅助学习过程。Instaboost[7]结合视觉环境信息对裁剪后的前景进行了精细布局以提升合成质量。CP2[27]提出了一种预训练方法将随机裁剪后的部分从一幅图像转移至另一幅背景图上并通过该策略显著提升了下游密集预测任务的表现能力。值得注意的是该方法已被应用于实例分割领域并取得不错的效果[9]。UCC[6]则在训练过程中采用了一种新颖策略即从置信度得分较低类别的像素中选择样本作为前景从而有效缓解了类别不平衡的问题并提高了模型鲁棒性。然而传统方法通常仅关注跨领域或跨标签的未标记样本进行复制粘贴而忽视了在同一领域内不同类别间的差异性学习导致分配不平衡问题依然存在。
3. 方法
从数学角度来看我们将医学图像的三维数据结构表示为\textbf{X}\in\mathbb{R}^{W\times H\times L}
半监督医学图像分割的目的是估计每个体素的标签图\widehat{\mathbf{Y}} \in \{0, 1, \dots, K - 1\}^{W \times H \times L}。其中\widehat{\mathbf{Y}}代表了背景和目标在输入空间X中的位置。
我们的训练集D由N个带标签的数据样本和M个无标签的数据样本构成N\ll M并划分为两个子集：\mathcal{D}=\mathcal{D}^{l}\cup\mathcal{D}^{u}其中\mathcal{D}^{l}= \{(X_i^l,Y_i^l)\}_{i=1}^{N}表示所有带标签的学习数据\mathcal{D}^u=\{X_i^u\}_{i=N+1}^{M+N}则代表所有无标签的学习数据
该方法的整体流程图如图3所示，在基于平均教师架构的设计框架下进行操作。具体而言，在数据预处理阶段, 我们首先从训练集中随机选取两组无监督样本(\mathbf{X}_{p}^{u},\mathbf{X}_{q}^{u}), 同时配合选取两组有监督样本(\mathbf{X}_i^l,\mathbf{X}_j^l)进行特征学习与对比优化过程
随后我们从\mathbf{X}_{i}^{l}（前景）执行随机裁剪操作并将其复制至\mathbf{X}_q^u（背景）上以获得混合图像\mathbf{X}^{o u t}接着我们又将来自\mathbf{X}_p^u（前景）的内容执行复制操作并将其放置于\mathbf{X}_j^l（背景）以得到另一个混合图像\mathbf{X}^{i n}
未标记的图像能够通过学习从带有标签的信息图中获取全面共同语义，并且可以从内向特征（\mathbf{X}^{in}）与外向特征（\mathbf{X}^{out}）两个维度进行分析。接着将这些输入分别送入学生网络层中，在教师网络的帮助下生成分割遮罩\widehat{\mathbf{Y}}^{i n}与\widehat{\mathbf{Y}}^{o u t} 。为了实现对分割遮罩的有效监督，在教师网络中不仅利用其对未标注样本预测结果与其标注样本标签图之间进行双向对比匹配，并且还实现了两者的联合优化过程。
我们开发了一个双向复制粘贴框架，在Meaner架构中进行了详细描述。为了更好地可视化这一过程, 我们采用了2D形式进行呈现。学生的输入数据是采用一种拟合的设计方法, 在每张输入图中同时融合了带有标记和无标记图像的信息。接着, 在为学生网络提供有效的监督信号方面, 我们利用了与教师模型相同的双向复制粘贴机制, 在同一个监督信号中整合了真实标注数据与伪标注信息。
3.1 双向复制粘贴
3.1.1 平均教师和训练策略
在我们提出的BCP框架中，在该架构下由...构成的是教师网络：\mathcal{F}_t\left(\mathbf{X}_p^u,\mathbf{X}_q^u;\mathbf{\Theta}_t\right)；而由...构成的是学生网络：\mathcal{F}_{s}\left(\mathbf{X}^{i n},\mathbf{X}^{o u t};\mathbf{\Theta}_{s}\right)。其中参数\Theta_t和\Theta_s分别用于表示教师模型与学生模型的参数设置。具体而言，在训练过程中采用随机梯度下降算法进行优化训练；而对于教师模型而言，则采用学生的指数加权移动平均机制（EMA）来更新其权重参数。
我们的训练策略分为三个步骤。
在预训练阶段中, 我们仅利用带有标记的数据来训练模型. 然后, 在每一轮迭代中, 通过随机梯度下降方法更新学生网络参数θ_s. 最后, 通过EMA平均策略更新教师网络参数θ_t.
3.1.2 通过复制粘贴进行预训练
基于前人的工作[9]，我们通过复制粘贴的方式增强了原有的标注数据集，并构建了一个监督学习模型。通过自监督学习的方法，在无标注数据上生成了部分伪标签。这一策略显著提升了图像分割的效果，并且具体应用与分析将在后续章节中展开探讨。
3.1.3 双向复制粘贴图像
在一对图像之间执行复制粘贴操作之前，在实验中我们先生成了一个零中心掩码矩阵\mathcal{M}\in\{0,1\}^{W\times H\times L}来区分前景与背景区域中的像素。该掩码矩阵中零值区域的比例为\beta（其中\beta\in(0,1)），即其零区域的尺寸设定为\beta H \times \beta W \times \beta L。随后，在标记和非标记图像之间进行双向复制粘贴操作，并将结果分别存储于两个不同的输出空间中：
\begin{gathered} \mathbf{X}^{i n}=\mathbf{X}_{j}^{l}\odot\mathcal{M}+\mathbf{X}_{p}^{u}\odot(\mathbf{1}-\mathcal{M}), \\ \mathbf{X}^{o u t}=\mathbf{X}_{q}^{u}\odot\mathcal{M}+\mathbf{X}_{i}^{l}\odot(\mathbf{1}-\mathcal{M}), \end{gathered}
其中\{\mathbf{x}_i^l, i=1,\dots,l;\,\textbf{x}_j^l,j=1,\dots,l;\,\textbf{x}_p^u,p=1,\dots,u;\,\textbf{x}_q^u,q=1,\dots,u\}分别代表来自标签与非标签数据集中的样本集合，并且满足i≠j、p≠q等条件；而\odot表示元素级别的乘法运算。\textcolor[rgb]{0.8437,0.3251,0.3251}{为了满足实验中输入数据的多样性需求，在实验中我们在数据集中采用了包含两张标签图与非标签图的数据集组合配置}]
3.1.4 双向复制粘贴监控信号
此外，在训练学生网络的过程中，我们通过BCP操作生成监控信号。
3.2 损失函数
每个输入图像由标注数据与未标注数据的混合构成。从直觉上讲，在标注数据中获得的真实掩码往往比基于未标注数据推断出的伪标签更为精确。通过参数α调节未标注样本像素对损失函数的影响程度。为了优化学习过程，在每一次迭代中采用随机梯度下降方法更新学生网络中的参数θs：总损失函数由两部分组成：\mathcal{L}_{all} = \mathcal{L}^{in} + \mathcal{L}^{out}其中\mathcal{L}^{in}和\mathcal{L}^{out}分别代表带标签与无标签样本对应的损失函数值。