【半监督医学图像分割 2023 】UCMT 论文翻译
文章目录
半监督医学图像分割 2023
* 3\. 方法
* * 3.1 问题的定义
* 3.2 总览
* 3.3 协作式均值教师
* 3.4 不确定性指导混合
* 4\. 实验和结论
* 5\. 总结【半监督医学图像分割 2023 】UCMT 论文翻译
论文题目：Co-training with High-Confidence Pseudo Labels for Semi-supervised Medical Image Segmentation
中文题目：基于高置信度伪标签的联合训练半监督医学图像分割
论文链接：https://arxiv.org/abs/2301.04465
论文代码：https://github.com/Senyh/UCMT
发表时间：2023年1月
论文团队：东北大学&福建师范大学&阿尔伯塔大学
引用：Shen Z, Cao P, Yang H, et al. Co-training with High-Confidence Pseudo Labels for Semi-supervised Medical Image Segmentation[J]. arXiv preprint arXiv:2301.04465, 2023.
引用数：
摘要
高精度的伪标签在实现半监督语义分割中扮演着不可或缺的角色。 一致性的正则化策略与基于pseudo-labels的自监督学习方法依赖于多源输入数据生成的伪标签来进行协同优化。
值得警惕的是，在协同训练模型中常出现的现象是在训练初期趋于一致的状态。
此外，在生成过程中，在生成过程中，在生成过程中，在生成过程中，在生成过程
针对上述问题, 我们开发了一种以不确定性引导的协同均值教师（UCMT）算法. 该算法特别适用于具有高度置信伪标签的半监督语义分割任务.
具体而言，UCMT由两个主要部分组成：
1）协同均值教师(CMT)用于鼓励模型分歧并在子网络之间进行协同训练；
UMIX机制通过利用CMT系统的不确定性映射对应输入图像，并有助于该系统生成具有高置信度的伪标签。
该方法整合了UMIX与CMT的优势，在协同训练分割任务中继承了模型的一致性特征，并成功实现了伪标签质量的显著提升。
在涵盖二维与三维模式的一套公共医学图像数据集上，通过广泛地进行实验验证了UCMT相较于现有技术所具有的显著优势。
1. 介绍
语义分割作为医学图像分析的核心技术具有不可替代的重要性。 基于深度学习的分割模型依赖于大量标注的数据展现了显著的性能提升[1,2]。
但是，在医学图像领域中（...），标注像素级注释耗时费力且通常需要专业的知识背景。相比之下，在医疗影像数据中非标注的数据价格相对较低，并且容易获取。
在当前背景下，半监督学习（SSL）通过基于少量标注数据与大量无标注数据来挖掘信息，并被视为解决标注资源匮乏问题的重要手段[3]。
一致性正则化[4]和伪标记[6]是半监督语义分割的两种主要方法。
目前，在半监督分割任务中通过半监督学习框架下的子网络间交叉监督机制，并结合一致性正则化与伪标记生成的方法，在现有研究中取得了显著的性能提升效果[6,7,8,5,9]。这些方法的主要缺陷在于其在训练初期往往迅速达到一致状态这一现象存在，并由此导致协同训练模型退化为仅依赖单个分支的学习模式[10]。
在协同训练过程中，在子网络间的不一致现象极为关键。通过采用不同参数初始化或采用不同视图进行训练的子网络会产生各自的偏差（即表现为不一致现象）。从而使得它们所提供的信息能够相互补充。
影响这些方法性能的另一个关键因素是伪标签的质量。
主要关注点在于这两大因素之间的相互作用。从直观角度来看，高质量的人工标注数据应具有较低的不一致度U。
然而，在协同训练子网络之间引入差异性措施时，并非直接提升其一致性水平。相反地，在这种情况下可能会导致这些子网络的训练方向呈现相反的趋势，并进而提高伪标签预测结果的不可靠性。
本研究旨在探讨不一致性和伪标签质量对基于协同训练的半监督分割的影响，并通过小规模实验来揭示这些变量间的相互作用关系。 如图1所示，在对比均值教师(MT)[4][图1(a)]与交叉伪监督(CPS)[5][图1(b)]的基础上，在半变量分割任务中发现：CPS表现出显著的模型分歧[(d)]以及较低的预测不确定性[图1(e)]均能在半监督分割中实现较高的性能提升[图1(f)]。
注意，两个分支的骰子损失是计算来衡量分歧的。
问题是：如何有效地改善协同训练子网络与伪LA质量之间的不一致
本文深入探讨了两大核心方向：确保模型既保持不一致性又具备高置信度的伪标签。
针对此问题提出了一种基于不确定性引导的协同均值教师 UCMT 框架。该框架通过更高置信度生成的伪标签（如图 1(e)所示），维持协同训练分割子网络之间的更大不一致程度（如图 1(d)所示），从而在相同的骨干网络架构和任务设定下实现了更好的半监督分割性能（如图 1(f)所示）。
具体而言，UCMT包括两个主要部分：
1）协同均值教师(CMT)和2）不确定性引导区域混合(UMIX)，
其中UMIX基于CMT的不确定性映射操作接收图像数据，并且在与UMIX图像是通过伪标签进行协同训练的过程中嵌入目标信息
基于协同教学的研究成果，在协同训练框架中增加了第三个组件教师模型，并将其用作正则化器用于构建CMT以提高其在无监督学习中的效率
教师模型通过计算学生的平均表现作为整体结构的一部分，在第三阶段帮助两个学生模型的发展。
此外，在本研究中我们开发了UMIX系统用于构建高效可靠的伪标签集合，并通过主动区域退出机制实现稳健的半监督语义分割模型训练。与基于随机区域擦除或互换的方法不同，在UMIX的设计中其处理策略基于分割模型认知层面的不确定性评估。其结果不仅有效降低了生成标注信息的质量（即降低了一定质量阈值），同时提升了训练样本在类别边界处的表现（即扩大了训练数据在类别分布上的覆盖范围）。
最后，在充分考虑了UMIX与CMT各自的优势后, 本文提出了一种名为UCMT的新方法, 在多组基准数据集上的半监督分割技术上带来了实质性的提升。具体而言, 在与U-Net相比时, UCMT及其性能指标DICE SIMIL分别获得了88.22%和82.14%的优异成绩。
概括地说，我们的贡献主要包括：
我们揭示了现有基于协同训练的半监督分割方法存在的局限性：即子网络间的不一致程度较低以及伪标签的可靠性不高。为此我们构建了一个不确定性指导协作模型教师旨在与高置信度伪标签实现协同训练其中我们将CMT与UMIX整合到一个半监督医学图像分割的整体框架中。
为了避免新样本引入低质量数据我们开发了一种基于不确定性的区域混合算法UMIX该算法旨在促进分割模型生成高可靠性伪标签同时扩展训练数据分布范围。
我们在四个公共医学图像分割基准数据集上进行了系统性的实验验证包括二维与三维场景分析以此评估我们方法的效果。最终结果显示我们的方法在各组件上的性能均显著优于UCMT并超越现有技术。
2. 相关工作
2.1 半监督学习
该研究方法的主要目标是利用与无Supervised 学习相关的知识模块以提升其性能水平；此外；该研究方法还可以反过来促进无需标签的数据挖掘技术的发展；引用来源[3].
SSL的一种典型表现形式是在监督学习的目标函数里加入一个正则化项，并以此来充分利用未标注的数据。
从这一角度出发，在遵循SSL协议的技术基础之上，现有的方法主要包含两大类路径：伪标记技术和一致性正则化方法。
伪标记旨在生成与ground truth类似的伪标记，并通过监督学习[6]对其进行训练。通过施加一致性正则化约束, 模型能够保证对于各种输入扰动都能产生稳定一致的输出[4].
当前最先进的方法已经实现了这两种策略的融合，并在半光滑图像分类任务中取得了显著的性能优势[16,17]。在此之上，我们开发出了更具效率的一致性学习算法来应用于半监督语义分割任务。
2.2 半监督分割
与传统的图像分类相比，在语义分割任务中对像素级标注的要求更为严格且成本也相应提高。 半监督语义分割方法的核心理念源自于半监督图像分类的方法。
一致性的正则化约束与人工标签的融合方案，在深度学习模型训练中被广泛应用于跨网络监督学习机制中。该方法已被广泛应用于自然图像[7,5]和医学图像[18,19,20,21]等领域的半监督语义分割问题中，并被证明是当前研究中的一项重要突破性技术。
具体地说，这些组合方法加强了不同扰动下预测的一致性，例如输入扰动[22,23]、特征扰动[7]和网络扰动[4,5,20,21]。 另外，基于对抗性学习的方法，使来自标记数据的模型预测分布与来自未标记数据的模型预测分布一致，也可以被视为一致性正则化的一种特殊形式[24,25]。 然而，这种交叉监管模式可能会早期收敛为共识，从而退化为自我训练模式。 我们假设扩大基于高置信度伪标签的协同训练模型的不一致性可以提高SSL的性能。 因此，我们提出了一种新的SSL框架，即UCMT，以生成更准确的伪标签，并保持半监督医学图像分割的协同训练。
2.3 不确定性引导的半监督语义分割
通过认知不确定性这一特性, SSL 模型能够有效地提取伪标签中的信息. 探讨如何获取与应用 模型 不确定性 成为关键问题. 现有方法主要可分为两类:一类是采用蒙特卡罗丢弃法 [26], 另一类则是基于不同预测结果计算方差的方法 [27]. 在半监督语义分割领域中,在处理这些问题时采用了不同的方法. 然而这些方法均需预先设定一个阈值标准,以便筛选出置信度较高的样本. 由于固定阈值的选择往往缺乏科学依据,因此这种方法的应用效果仍有待进一步验证. 本研究通过计算条件马尔可夫随机场预测结果的熵值来量化认知 不确定性 ,并将此指标引入到区域混合机制的设计中,以此实现从未标记数据中逐步挖掘信息的目的.
3. 方法
3.1 问题的定义
在介绍我们的方法之前，在研究领域中首次系统性地探讨了半监督分割问题的基础上，并明确指出了本文中所涉及的关键符号概念。训练集\mathcal{D}=\{\mathcal{D}_{\mathcal{L}},\mathcal{D}_{\mathcal{U}}\}由两部分组成：标记子集\mathcal{D}_{\mathcal{L}}=\{(X_i,Y_i)\}_{i=1}^N和未标记子集\mathcal{D}_{\mathcal{U}}=\{(X_j)\}_{j=N+1}^M构成，在其中X_i/X_j分别代表第i/第j个样本图像的特征数据，在此过程中Y_i表示第i个样本图像的真实标签信息，在这一基础上确定了标记样本数量为N以及未标记样本数量为总样本数减去标记数即为M-N。基于所给定的训练数据集合\mathcal{D}, 半监督语义分割的核心目标在于通过学习机制构建一个在未知测试场景下表现稳定的模型f(\cdot;\theta), 从而实现对测试数据的有效分类任务处理过程。
3.2 总览
为了避免协同训练过程对自监督学习产生的负面影响，在实际应用中提出了以下几点建议：首先，在培养模型时应注重使其保持一致；其次，在生成伪标签时需确保其准确性较高。
鉴于此驱动力，在此基础上我们开发了一种新型的半监督图像分割方法；该方法包含两部分：一是协同均值教师的应用；二是基于不确定性的区域融合。
如图1(d)所示，CMT和UCMT逐渐扩大了协同训练子网络之间的分歧。
同时，CMT配备了UMIX，保证了伪标签的低不确定性。
基于这些条件，在保证安全的前提下实现协同训练状态的维持，并进一步提升_SSL在无监督学习数据挖掘方面的有效性
CMT及UMIX的详情分别载于第3.3及3.4节。 图2说明了拟议的UCMT的示意图。
UCMT的训练阶段一般分为两个步骤。
首先，在CMT模型训练过程中，我们基于既有标注数据和无标注数据来构建训练集，并通过这一过程获得模型的不确定性分布图。随后，在模型验证阶段，通过MUMIX算法结合不确定性映射信息生成新的测试样本集。
在第二阶段中，我们采用了UMIX样本对CMT进行了重新训练。详细说明了UCMT训练过程的细节，并参考了算法1的相关内容。
尽管UCMT涉及三类模型,具体来说就是一个教师型模型和两个学生型model,在测试环节仅需采用教师型model.
3.3 协作式均值教师
当前基于一致性学习的方法（如Mean-Teacher[4]和CPS[5]）建议采用多模型体系结构来实现伪标签间的一致性正则化而非仅限于单个模型中的应用。然而，在训练过程中双网络的SSL框架可能导致协同训练过早收敛至一致状态从而退化为自监督学习阶段[10]。针对这一问题我们在此基础上提出了一种新的方法：通过引入一个协调者来指导多个学生模型的学习过程并命名为协作平均教师（CMT）框架。
如图2所示,CMT主要由一个教师模块与两个学生模块协同工作构成,其中教师模块作为学生的平均值进行自集成运算
基于标注的数据，在这种情况下这些模型都是通过监督学习进行优化的。而对于未标注数据来说，则主要包含两个关键要素：一是教师模型与学生模型之间的协同训练机制；二是教师对学生成绩直接进行监督指导。从形式上来看CMT的数据流图能够很好地说明这一过程如上图所示其中X代表输入图像无论是标注还是非标注都可以作为输入参数θθ₁和θ₂所对应的函数f(⋅;θ)、f(⋅;θ₁)和f(⋅;θ₂)分别代表教师模型以及不同阶段的学生模型它们具有相同的网络架构但在初始化权重参数时存在差异性
为了研究标记数据与未标记数据之间的关系并训练UCMT模型, 该模型的总损失函数由有监督学习相关的项与无监督学习相关的项共同构成, 具体来说, 涉及到有监督损失\mathcal{L}_s与无监督损失\mathcal{L}_u两方面的计算
其中λ值用于协调有监督与无监督学习任务的损失函数平衡。我们通过逐步递增的方式采用高斯渐升函数来调节系数大小，并定义其为λ(t)=λm×exp[-5(1-ttm)²]的形式；其中λm代表协调任务的加权因子的最大值；t表示当前迭代次数；ttm则为训练过程中的最大迭代次数。
监督学习的学习路径。针对已标注的数据, 监督损失被定义为以下形式：
\mathcal{L}_s = \frac{1}{N}\sum_{i=1}^N \left[ \mathcal{L}_{seg}(f(X_i;\theta), Y_i) + \mathcal{L}_{seg}(f(X_i;\theta_1), Y_i) + \mathcal{L}_{seg}(f(X_i;\theta_2), Y_i) \right]
其中, \mathcal{L}_{seg}表示任何一种有监督的语义分割损失函数, 如交叉熵损失与Dice损失等。值得注意的是, 在我们的实验研究中选择Dice损失作为其在医学图像分割任务中展现出卓越性能的技术方案。
无监督学习路径 。 无监督损失LU作为一个正则化项，为标记和未标记数据挖掘潜在的知识。 LU包括两个学生模型之间的交叉伪监督LCPS和从教师引导学生模型的平均教师监督LMTS，具体如下：
\mathcal{L}_u=\mathcal{L}_{cps}+\mathcal{L}_{mts}
交叉伪监管 。 LCPS的目的是促进两个学生相互学习，加强他们之间的一致性。 LCPS=LCPS1+LCPS2鼓励两个学生子网络f(·；θ1)和f(·；θ2)的双向交互，如下所示，
\mathcal{L}_{cps1}=\frac{1}{M-N}\sum_{j=1}^{M-N}\mathcal{L}_{seg}(f(X_j;\theta_1),\hat{Y}_j^2) \\ \mathcal{L}_{cps2}=\frac{1}{M-N}\sum_{j=1}^{M-N}\mathcal{L}_{seg}(f(X_j;\theta_2),\hat{Y}_j^2)
均值–教师监督。 为了避免两个学生交叉督导的错误方向，我们引入了教师模式来指导学生模式的优化。 具体地说，教师模型通过学生模型平均值的指数移动平均值(EMA)来更新：
\theta^t=\alpha\theta^{t-1}+(1-\alpha)\frac{\theta^t_1+\theta^t_2}{2}
其中T表示当前的训练迭代。 α是控制参数更新速率的均方根衰减，我们在实验中设置α=0.999。 平均教师监督损失LMTS=LMTS1+LMTS2由两个分支计算：
\begin{aligned} \mathcal{L}_{m t s 1} & =\frac{1}{M-N} \sum_{j=1}^{M-N} \mathcal{L}_{s e g}\left(f\left(X_{j} ; \theta_{1}\right), \hat{Y}_{j}^{0}\right) \\ \text{其中, }&\mathcal{L}_{m t s 1}\text{表示基于第一组参数 } \theta_1\text{ 的多任务学习损失函数,它通过计算每对样本之间的平均损失值得出结果. \\ \mathcal{L}_{m t s 2} & =\frac{1}{M-N} \sum_{j=1}^{M-N} \mathcal{L}_{s e g}\left(f\left(X_{j} ; \theta_{2}\right), \hat{Y}_{j}^{0}\right) \\ \text{其中, }&\mathcal{L}_{m t s 2}\text{表示基于第二组参数 } \theta_2\text{ 的多任务学习损失函数,它同样通过计算每对样本之间的平均损失值得出结果. \\ \end{aligned}
3.4 不确定性指导混合
然而CMT会导致协同训练出现不一致的情况；它也会稍微提高伪标签的一致性风险（如图1所示）。
另一方面，随机区域退出可以扩大训练分布，提高模型的泛化能力[13,14]。
尽管存在潜在风险，在应用随机扰动时可能会导致新的数据干扰，并最终影响SSL伪标签的准确性。
在训练过程中，在线学习算法可能会将某些不正确的伪标签分配给其他子网络，并由此导致这些子网络性能下降
为了克服这些问题，我们需要提出一种名为UMIX的新算法。为此提出了一种名为UMIX的新算法。基于生成的不确定性映射指导下的图像处理方法。其核心概念在于利用输入图像中前k个最高置信度区域替代其对应位置上的最低置信度区域以生成新的样本
例如，在如图2所示的可视化界面中，在不确定性图U中提取出两个关键区域：其中红色网格标识为最不确定区域，在此基础上我们又获得了相对确定的绿色网格表示。接着以输入图像X中的绿色网格替换对应的红色网格位置元素值，并通过此操作生成新的样本数据集X’
从形式上讲，在生成新的样本时x′=Umix(x,u₁,u₂;k,1/r)，其方法是通过将x中前k个高度确定的区域（即V₁和V₂中的红色网格）替换为前k个相对不明确的区域（即V₂和V₁中的绿色网格），其中每个区域占原图像的比例为1/r
为了确保评估过程的可靠性和稳定性，在不确定性量化方法中
4. 实验和结论
5. 总结
我们提出了一种基于半监督学习框架的不确定性引导型协作均值教师模型用于医学图像分割任务。我们的核心理念是通过保持与高置信度伪标签对象的一致性训练来提升半监督学习模型在无标记数据中的特征提取能力。为了验证该方法的有效性我们在四个公开基准数据集上进行了大量实验测试并对比分析了不同算法下的性能表现结果表明所提出的UCMT能够有效提升无标记数据下的分割精度并展现出比现有算法更好的鲁棒性特点。此外我们还进一步探讨了不同超参数设置对模型性能的影响并通过敏感性分析验证了算法设计的有效性和可靠性。