具有不确定性感知注意机制的肺结节分割和不确定区域预测| 文献速递-深度学习结合医疗影像疾病诊断与病灶分割

Title

题目

基于不确定性感知机制的肺结节分割与不确定性区域预测

具有不确定性感知注意机制的肺结节分割和不确定区域预测

01

文献速递介绍

在肺癌计算机辅助诊断（CAD）系统中，“肺结节分割”具有重要意义，在此过程中，“提供关键信息如结节大小、形状和其他重要医学特征”。然而，在基于深度学习的方法进行通用训练与测试的过程中，“每个节点图像数据仅有一个由单一名放射科医生勾画的注释掩模”。因此，在这种情况下，“网络只能提供单一预测结果”。然而，在临床实践中，“不同专业的放射科医生可能会对肺结核提供多种分割标注方案”。“这主要归因于他们的不同专业背景与临床经验的不同积累”。基于单一注释的传统方法无法全面反映临床医疗实践中丰富的经验多样性。“从而限制了深度学习技术在医学影像分析中的应用”。

应对影像科医生之间注释差异的问题的一种系统性方法是将多个注释融合到每个肺结节图像中。然而这种做法不可避免地会导致不确定性与矛盾。因此我们需要一种能够整合多种视角同时减少不一致的方法来解决这一挑战。为此Kohl等人于2018年提出了一种名为概率U-Net的方法该技术利用条件变分自动编码器将多种分割变体编码到低维潜在空间中并通过采样该空间中的样本来影响相应的分割结果。在此基础上胡等人进一步提出了一种结合真实不确定性和概率模型的方法该方法通过计算样本的准确性和多样性指标来提升预测结果的质量并优化模型性能从而实现更精确的诊断支持系统

Abstract

摘要

放射科医生在临床经验和专业训练方面存在差异性特征，在对肺结节进行分割标注时往往会出现多样的结果表现。这导致分割不确定性问题较为突出。传统的学习方法通常会选取单一注释作为学习目标或试图从多个注释中学习潜在空间模式。然而这些方法未能充分利用多注释间的共识与分歧所蕴含的重要信息。为此我们提出了一种不确定性感知注意力机制（UAAM）。该机制通过整合多注释间的共识与分歧信息来辅助提升分割性能。为了实现这一目标我们设计了一个结合三者协作的新网络架构即不确定性指导多信心掩膜融合分割网络（UGMCS-Net）。该网络包含三个关键模块：首先是一个特征提取模块用于捕获肺结节的一般特征特性；其次是一个不确定性感知增强模块用于生成三个不同级别的特征分别对应于注释集的并集交集以及单个注释集；最后是一个基于交并关系约束的融合模块用于平衡最终分割预测与掩膜之间的协调关系。为了全面评估该方法的有效性我们提出了一个复杂结节验证框架（CUV）。该框架旨在检验UGMCS-Net在难以用常规方法实现准确分割的复杂结节上的性能表现。实验结果表明我们的方法能够在提高常规方法难以处理的复杂结节分割性能方面取得显著效果

影像科医生由于不同的专业背景和临床训练经历，在肺结节分割注释过程中也存在显著差异。这些差异可能导致最终分割结果的一致性问题。传统的学习方法往往采用单一注释作为目标函数或试图挖掘包含多个注释信息的空间潜在表示；然而这些传统方案未能充分挖掘各标注者共识与分歧中蕴含的关键信息资源。针对这一挑战性问题我们提出了一种基于共识与分歧的不确定性感知机制（UAAM）。该机制通过整合各标注者的共识区域与分歧区域来增强分割效果；为此我们构建了一个多置信度蒙版系统（MCM）。其中包含低置信度（LC）蒙版与高置信度（HC）蒙版；LC蒙版能够有效标记出低置信区域进而引导放射科专家进行多选决策；而HC蒙版则用于捕捉高置信区域内的统一特征信息。在此基础之上我们进一步开发了一种具有不确定性引导功能的多置信度分割网络（UGMCS-Net）。该网络系统由三个关键子网络组成：首先是一个特征提取子网络用于捕获病变样本的基本形态特征；其次是一个不确定性感知子网络用于生成样本间的交集、并集及联合特征表示；最后是一个交并集约束子网络用于平衡最终目标与置信度预测之间的关系；通过这种多层次的学习框架我们的模型能够更好地适应复杂病变样本的特点并实现更加鲁棒稳定的预测表现

Method

方法

In Figure 3, we introduce the architecture of the Uncertainty-Guided Multi-Confidence Segmentation Network (UGMCSNet). This network accepts lung nodule CT images as inputs and generates two outputs: a predicted Multi-Confidence Mask (MCM) and a final segmentation result denoted by X**S. The MCM integrates predicted union ∪(X) and intersection ∩(X). The network's learning targets consist of three components: the annotation set GT, its corresponding Union Mask ∪(**GT), and Intersection Mask ∩(**GT). The input images and their corresponding masks are derived from cropped samples with dimensions of 50 × 50 pixels from the LIDC-IDRI dataset, which includes official annotations. These raw images are resized to dimensions of 3 × 64 × 64 pixels before being fed into the network for training.

如图3所示，在本研究中我们展示了不确定性引导的多置信度分割网络（UGMCS-Net）的设计架构。该网络基于肺结节CT图像输入，并生成两个关键输出：预测多置信度掩膜（MCM）与最终分割结果XS。其中MCM融合了预测的并集∪(X)*与交集∩(X)信息。网络的学习目标是实现注释集GT及其对应的并/交掩膜∪(GT )与∩(GT )的有效学习与提取。在输入处理阶段所有输入图像及其对应的掩膜均为50×50像素尺寸并来自LIDC IDRI数据库经过官方注释裁剪处理；在执行网络前需将原始图像与对应的掩膜统一调整为3×64×64像素的空间维度

Conclusion

结论

This paper introduces the Uncertainty-Aware AttentionMechanism (UAAM), which leverages the consensus ordisagreements among multiple annotations to improve segmentation and identify regions with low segmentation confidence. UAAM captures features from the Multi-ConfidenceMask (MCM), a combination of a Low-Confidence (LC)Mask and a High-Confidence (HC) Mask. Based on UAAM,we further design an Uncertainty-Guide Segmentation Network (UGMCS-Net), which contains a Feature ExtractingModule*, an Uncertainty-Aware Module, and an IntersectionUnion Constraining Module*. These modules together learnvaluable information from the consensus or disagreementsamong multiple annotations, providing regions with high andlow segmentation confidences, and a segmentation result thatcan balance all possibilities. Besides the traditional validationmethod, we propose a Complex-Nodule Validation on LIDCIDRI, which tests UGMCS-Net’s segmentation performanceon the lung nodules that are difficult to segment by U-Net.Experimental results demonstrate that our method can significantly improve the segmentation performance on nodules withpoor segmentation by U-Net.

本文提出了一种基于共识与分歧的不确定性感知机制（UAAM），通过分析多个注释的一致性和不一致性的特征来优化分割效果，并识别图像中具有较低分割置信度区域的关键信息。该机制从多置信度掩码（MCM）中捕获特征空间，并通过低置信度蒙版与高置信度蒙版的组合实现这一目标。在此基础上，我们开发了一个基于UAAM的不确定性引导分割网络（UGMCS-Net），该网络包含特征提取模块、不确定性感知模块以及集并约束模块三者协同工作。这些模块能够从多标注数据中提取多维度的信息特征，并通过共识与分歧的学习过程生成具有高置信度与低置信度区域划分的信息表示以及平衡所有可能性下的最优分割结果。在经典的验证手段之外，我们还引入了LIDC IDRI复杂结节检测任务作为新的测试指标，在U-Net难以有效分割的肺结节案例上进行了专门测试以评估该网络性能表现。实验结果显示所提出的方法较传统方法在关键指标上均取得了显著提升效果

Figure

图

_Fig. 1. (A). 由多份注释引发的不确定性。HC代表高置信掩膜（Intersection of annotation sets），LC代表低置信掩膜（Annotation sets' union minus their intersection）。将多个低置信区域组合形成Multi-Confidence掩膜。（B). LIDC-IDRI图像中Hounsfield单位核估计值在HC与LC区域中的分布特征分析。

图1. (A). 由于多个注释带来的不确定因素，在图像处理领域中提出了高置信度蒙版（High Confidence Mask, HC）的概念，其定义为注释集合之间的交集区域；同时，在此基础上定义了低置信度蒙版（Low Confidence Mask, LC），其对应的是注释集合并集与交集之间的差异区域；进一步地，在这一过程中综合考虑不同置信度下的结果形成了一套多层置信度蒙版系统。(B). 在LIDC-IDRI数据库中进行高置信度掩膜（High Confidence Mask, HC）与低置信度掩膜（Low Confidence Mask, LC）各自的Hounsfield单位核估计

Fig. 2展示了不确定性感知注意力机制的概述图。并集与交集掩码之间的差异即为低置信度掩码,它指导着低置信特征的学习过程。而交集掩码则代表高置信度,负责指导高置信特征的学习工作。注释集合有助于指导对合理分割的学习,这种平衡状态涵盖了所有标注信息.

概述图2所示的不确定性感知注意机制。并集掩膜与交集掩膜之间的差异属于低置信度的mask类型，并用于指导学习过程中的低确定性特征。而交集mask则属于高置信度mask类别，并且直接指导高确定性特征的学习。此外，在注释集合中实现了合理的分割学习目标，在这一过程中各注释间的平衡得到了充分考虑和优化。

Fig. 3 presents a summary of the uncertainty-guided multi-confidence segmentation network. This network incorporates three key components: (1) a feature extraction component, (2) a module that incorporates uncertainty awareness, and (3) a segmentation network with intersection-union constraints.

图3展示了不确定性导向的多置信度分割网络概述。该网络由三个关键组件构成：(1) 特征提取部分、(2) 不确定性感知机制以及 (3) 交集-并集约束部分。

The module comprises three feature-aware attention blocks, each of which exhibits distinct learning preferences.

图4.1展示了基于交并集的约束模块。其中包含了三个感知特征的注意力机制，每个机制都具有自己独特的学习偏好。

Fig. 5. Multiple annotation fusion loss.

图5. 多注释融合损失。

_Fig. 6 shows a comparison of segmentation outcomes from various models: U-Net, Attention U-Net, R2U-Net, Channel U-Net, Nested U-Net, UGS-Net, and UGMCS-Net. The red boxes under the "Input" column highlight features that should be noted or identified as error-prone regions within nodules during segmentation. The red boxes in the "UGMCS-Net" column specifically illustrate where detailed segmentation is achieved by this model. Conversely, green boxes point out areas where suboptimal segmentation results fall short. The final column provides measurements in millimeters for each corresponding nodule diameter.]

图表6展示了多种分割网络（包括U-Net、Attention U-Net、R2U-Net、Channel U-Net、Nested U-Net、UGS-Net 和 UGMCS-网）的具体分割效果对比分析）。对应于 输入 数据集的不同区域特征或病变结节的关键部位（用红色框标注），第一列展示了各分割算法的基本表现情况；其中第二列（UGMCS-NET相关）则进一步详细呈现了该算法在特定区域的具体表现细节；第三列则通过绿色框标识出不同算法在实际应用中可能出现的次优分割效果及其局限性；最后一列为各病变结节的具体数值（毫米单位）。

_Fig. 7. The UGMCS-Net produces a comprehensive output consisting of the predicted intersection ∩(X), the predicted union ∪(X), the final segmentation XS, and the MCM. The color coding in MCM serves to enhance visualization, with red designations assigned to regions corresponding to ∩(X) and blue reserved for ∪(X). Additionally, these results are integrated into a single framework where final segmentation is overlaid on the MCM using green tones to aid comparison. Red highlights specifically emphasize nodules' characteristics that are challenging to distinguish, while a separate column provides quantitative data on nodules' sizes measured in millimeters.]

图7展示了UGMCS-Net生成的预测交集∩(X)和并集∪(X)，以及最终分割结果XS和MCM。其中，在MCM图中标注为红色的是∩(X)，蓝色的是∪(X)。此外，在MCM中也展示了最终分割结果，并用绿色标注便于与其他部分进行对比分析。通过红色框突出显示结点区域或特征难以区分的部分。最后一列展示了各对应病变结节的直径（毫米）。

Fig. 8. Comparative Analysis of Kernel Density Estimation (KDE) using HU values for actual HC and LC data and their predicted counterparts.

图8展示了实际高置信度(HC)与低置信度(LC)以及预测高置信度(HC)与低置信度(LC)的HU值核密度估计分析结果。

Figure 9 illustrates the visualization of various convolutional layers. The results in each case reflect the network's final predictions. The respective visual feature maps labeled M3, M2, and M1 correspond to the visual representations from different convolutional layers under various network configurations. The red arrows highlight regions requiring attention in nodules. Additionally, where d denotes the diameter of each corresponding nodule measured in millimeters.

图9展示了不同卷积层的可视化效果，在每种情况下输出结果反映了网络对图像分类任务的整体判断能力。其中,M3,M2和M1分别代表在不同网络配置下,从底部数起的第一、第二和第三卷积层中的视觉特征图,这些特征图能够反映出各层级对目标物体的不同识别重点,其中红色箭头则指出了关键病变区域.d值则量化了病变区域的最大直径,单位为毫米

Fig. 10 illustrates the failure cases demonstration. Each segmentation mask's corresponding DSC score is listed below it. The DSC value for this metric is expressed as a percentage.

在图10中展示了失败案例分析的结果。每个分割掩码下方标注的数值即为其DSC分数，并且其中DSC指标采用百分比表示

Fig. 11. The feature visualizations of R ′ LC and R ′ HC

图11. R ′ LC 和 R ′ HC 的特征可视化

Fig. 12. Complex-nodule validation. This evaluation assesses the segmentation performance of UGMCS-Net on challenging lung nodules that cannot be easily segmented using conventional methods like U-Net across three levels. At each CT image, the final two masks correspond to the segmentation outcomes generated by both UGMCS-Net and U-Net, with the former represented in black and the latter in red for easy differentiation. All metrics are presented as percentages.

复杂结节验证实验。通过三个阶段的测试评估了UGMCS-Net在处理U-网难以实现精确分割的肺部复杂病变区域时的表现效果。对于每个CT图像，在完成最终处理后得到了两个掩膜：一个是UGMCS-NET生成的结果（显示为红色），另一个是U-NET生成的结果（显示为黑色）。所有评估指标均以百分比的形式展示。

Table

表

TABLE I presents a comparative assessment of our proposed ugmcs-net against ten baseline networks, all evaluated according to the u-net architecture on the lidc-idri dataset. The ugs-net term denotes an early stage implementation of this research. All metrics are presented as percentages.

表I：基于LIDC-IDRI数据集构建的UGMCS-NET模型与十个U-Net架构下的网络性能对比。其中UGS-NET代表本研究的首个版本。所有评估指标均以百分比形式呈现。

TABLE II statistical analysis of u-net, attentionu-net, and ugmcs-net

表II U-Net、Attention U-Net 和 UGMCS-Net 的统计分析

The performance comparison of Table III is analyzed among U-Net, Attention U-Net, UGS-Net, and UGMCS-Net for label1 and label2, which are marked as subscript 1 and 2.

表 IIIU-Net、Attention U-Net、UGS-网和 UGMCS-网在 Label1 和 Label2 的性能对比中有所体现，并分别以下标形式表示。

TABLE IV presents the results of the module ablation study. All indicators are represented as percentages.

表格 IV模块消融研究。所有指标均以百分比表示

Table V: the parameter count, as well as the computational aspects of the model under various variants.

表格 V 不同变体下模型的参数数量和计算量

TABLE VI performance comparison between different backbone

表格 VI 不同骨干网络之间的性能比较

TABLE VII performance comparison between different filter settings

表格 VII 不同滤波器设置之间的性能比较

TABLE VIII performance comparison between different α settings

表格 VIII 不同 α 设置之间的性能比较

IX号表中对复杂结节分割性能的分析。UGMCS-8a+8b、UGMCS-IUCM及UGMCS-NET平均计算了Dice系数（Dice coefficient）与IoU（交并比值），并对其对应的绿色数值差异进行了标注（用括号注明）。所有指标均以百分比表示

表IX展示了复杂结节验证中的分割性能分析。其中包含了UGMCS-8a+8b、UGMCS-IUCM以及UGMCS-Net三种模型，并分别计算了它们在平均DSC和IOU上的表现。其与对应的Attention U-Net模型在各个指标上的差异程度（用绿色标注）。所有评估指标均以百分比形式呈现。