解剖学上合理的分割：通过先验变形显式保持拓扑结构|文献速递--基于深度学习的医学影像病灶分割

Title

题目

Anatomically based segmentation processes: The segmentation method explicitly maintains the topology by incorporating prior deformation information.

解剖学上合理的分割：通过先验变形显式保持拓扑结构

01

文献速递介绍

评估环向应变或壁厚度是一种常见的方法，在本研究中我们采用了该方法来辅助分析心脏结构特性。这些测量通常用于诊断肥厚性心肌病（Brady等人的研究于2023年发表；Corona-Villalobos等团队在2013年进行了相关研究）。若出现拓扑错误，则这些测量的准确性可能无法得到充分信任。在本研究中采用的方法是通过连续变形具有所需拓扑特征的简化表示来划分复杂结构

过去十年间，耗时的手动分割工作正在迅速地被深度卷积神经网络（CNNs）等自动化计算工具取代；这些技术已成为现代医学影像分割算法的主要基石。传统的CNN系统通过将图像的每个像素分配到特定类别概率来进行图像分割；然而，在这一过程中所学习的特征往往未能充分捕捉到复杂的解剖结构特征；因此，在实际应用中可能会出现因模型局限性导致的解剖学上不合理的预测结果。此外，在模型训练与评估阶段普遍采用基于像素级的损失函数（如Dice损失或二元交叉熵（BCE）），这种选择虽然有助于提高模型性能但可能在一定程度上限制了模型对更高阶空间关系的学习能力；最终可能导致某些特殊区域划分上的偏差或不准确度量问题。

Abatract

摘要

Following the advent of deep learning, numerous innovative medical segmentation techniques have emerged, delivering remarkable performance. However, these methods often reveal topological issues, such as holes or folds, which are not detected using traditional evaluation metrics. Incorrect topology can lead to errors in downstream clinical processing tasks. Therefore, there is a need for methods that ensure topologically correct segmentations. In this work, we introduce TEDS-Net: a segmentation network that preserves anatomical topology while maintaining competitive performance with state-of-the-art (SOTA) methods. Additionally, we demonstrate how current SOTA segmentation methods can introduce problematic topological errors. By enforcing stricter topology preservation in both continuous and discrete domains, TEDS-Net achieves anatomically plausible segmentations through learnt topology-preserving fields applied to a prior model. Traditional approaches describe topology-preserving fields in the continuous domain but struggle when applied in discrete domains. To address this limitation, we introduce modifications that more strictly enforce topology preservation across both domains. We evaluate our method on an open-source medical heart dataset for single and multi-structure segmentation tasks. Our results show that the generated fields contain no folding voxels, ensuring full topology preservation on individual structures while outperforming other baselines in overall scene topology assessment.

自深度学习兴起以来，大量新的医学分割方法开始涌现，并展现出巨大的潜力。这些方法通常在前沿技术的基础上有所改进。然而，在实际应用中往往会出现视觉检查能发现的问题——例如拓扑错误（如孔洞或折叠现象），这些错误无法被传统的评估指标检测到。由于拓扑结构不正确可能会影响后续的图像处理任务表现，在这一问题亟待解决之际我们提出了TEDS-Net一种新型分割网络它不仅能够保持符合解剖学的拓扑结构还能与当前前沿分割方法相媲美地保持分割性能。此外我们还展示了当前前沿分割方法如何引入可能导致误诊的拓扑错误问题。TEDS-Net通过利用学习得到的拓扑保持场对先验进行变形从而实现了符合解剖学规范地分割过程在连续域中描述的拓扑保持场在离散域应用时容易出现失效情况为此我们增加了额外设计以更加严格地执行这一功能我们在开源医学心脏数据集上展示了该方法的优势完成了单个器官以及多器官分割实验结果显示生成的场中不存在折叠体素这意味着在单个器官上实现了绝对意义上的完全拓扑正确性同时在整个场景中的拓扑表现也远超其他基准方法

Method

方法

The primary objective of TEDS-Net is to enable automatic performance of segmentation on an anatomical structure of interest while maintaining its known topology. By achieving this goal, the method learns topology-preserving fields from input images and uses them to deform a prior shape with desired topological characteristics in order to generate a segmentation result. Within this section, we initially explore the process of generating topology-preserving fields in the discrete domain (Section 3.1). Subsequently, we detail how these fields are integrated into the architecture of TEDS-Net (Section 3.2).

TEDS-Net的主要目的是通过自动分割感兴趣的部分来保留已知的解剖学拓扑结构。为了实现这一目的，在输入图像上训练能够维持所需拓扑特性的变形场，并将其应用于预处理形状以获得分割结果。本节将首先介绍如何在离散域内生成维持解剖学特性的Topological Preserving Fields（第3.1小节），随后阐述这些场如何融入TEDS-Net的整体架构设计（第3.2小节）。

Conclusion

结论

Introduce TEDS-Net as a segmentation network that characterizes structures of interest through deformable prior shapes guided by learned topology-preserving deformation fields. This outcome yields anatomically sound segmentations, essential for various downstream medical imaging applications. TEDS-Net achieved 100% topology preservation across single-class medical imaging tasks, maintaining comparable performance to baseline metrics like Dice and Hausdorff distance.

在本研究工作中,我们开发了一种称为TEDS-Net的新分割网络,该网络能够有效利用预训练得到的拓扑保持场变形先验形状来进行感兴趣区域的划分.该分割结果从解剖学角度而言具有合理性,其重要性不容忽视.实验表明,TEDS-Net不仅成功实现了100%的理想化拓扑保真度,并且其Dice分数及Hausdorff距离的表现同样令人印象深刻.

Results

结果

The MNIST dataset demonstrated that TEDS-Net achieved an average Dice score of approximately

在MNIST数据集上，在应用TEDS-Net模型时，在所有测试数字上的平均Dice分数为0.90 ± 0.04，并通过定性分析结果如图7所示进行验证。相比之下，在相同的实验条件下使用U-Net模型得到的分数为0.96 ± 0.02分；而采用VoxelMorph模型则仅获得分数为0.82 ± 0.06的结果。鉴于此分割任务相对简单，在这种情况下U-Net模型显著优于TEDS-Net（p < 0.001），这一结果并不令人意外地出现的原因是因为在这种场景下像素标记相较于变形先验来说更为简单。此外，在本次实验中我们主要旨在评估不同先验条件下的模型表现能力，并非是为了取得Dice分数上的最佳值。基于配对样本t检验的结果显示，在这种情况下TGDS-Net同样优于VoxelMorph（p < 0.05），因为后者往往会导致过大的分割区域出现偏差或失真现象较为明显。值得注意的是尽管VoxelMorph模型被优化用于3D形态配准问题而非本研究中的二维分割任务；但我们仍对其进行了比较分析；以展示其他基于变形的方法在处理简单的二维分割问题时的表现情况

Figure

图

Fig. 1 illustrates the topological discrepancies encountered during segmentation of medical images using traditional CNN architectures, such as a U-Net-style network trained using a pixel-wise loss function. We present examples of myocardium segmentation from 2D MRI short-axis slices. The identified gap in the U-Net example, highlighted by a white arrow, alters the topology and obstructs accurate perimeter measurements.

图1. 在使用传统卷积神经网络（CNNs）处理医学图像分割任务时经常会遇到拓扑错误案例，在这种情况下我们观察到使用像素级损失函数训练所导致的U-Net架构中的结构问题。具体来说在心脏切片中的心肌分割过程中我们发现在U-Net架构中识别到的一个间隙区域（用白色箭头标注）会显著影响后续自动计算心肌周长的过程

_Fig. 2. Panels A-D. Panel A illustrates a straightforward one-dimensional transformation Φ₁ alongside its composition, achieved through both discrete (solid line) and continuous (dotted line) methodologies. The grey arrows depict the two steps involved in calculating Φ₂ at 𝑥 = 1: Φ₂(1) equals Φ₁ applied twice to 1, resulting in Φ₁(Φ₁(1)) which is equivalent to Φ₁(1.5), yielding a value of 2. Panel B presents a sequence of composition stages, while Panels C and D showcase the same transformations but using more densely sampled points, with and without Gaussian smoothing applied respectively.]

图2展示了面板A至D。其中，面板A描绘了一个简单的Φ₁一维变换，并通过离散（实线）与连续（虚线）方法得到结果（"缩放和平方法"单次应用）。图中灰色实线箭头指出了在离散情形下x=1处计算Φ₂的具体步骤：Φ₂(1)=Φ₁(Φ₁(1))=Φ₁(1.5)=2。而面板B则详细呈现了一系列组合层；面版C与D则详细呈现了更高采样密度下的相同变换过程，在存在与不存在高斯模糊两种情况下进行对比。

_Fig. 3. Schematic diagram of TEDS-Net, illustrated for multi-structure segmentation with 𝑐 channels. Two deformation fields are learned after undergoing convolutions on an input image and are encouraged to maintain their topological properties through our topology-preserving layers (highlighted in green).

图3. TEDS-Net的示意图详细展示了用于多结构分割的c个通道。通过一系列卷积操作学习到两个变形场，并在我们的拓扑保持层（位于图中绿色方框中的部分）进行调整以维持其拓扑结构。

Fig. 4. Visualization of the scaling and squaring method, displayed in one direction. Initially, the fields exhibit negligible displacements, but when self-composite ℎ = 8 times (Φ₂ ℎ = Φ₂⁵₆), the displacements become amplified.

图4展示了缩放和平方法的可视化效果,呈现了一个方向的变化.起初,这些场的位移相对微小,但在经过自我组合 h=8 次的操作后,其位移显著放大.

Fig. 5. 对每个实验使用的先验概览。图A展示了针对MNIST数字集的先验设置，而图B则用于心肌相关实验。图C则展示了多结构心脏分割所使用的先验集合及其对应的标签。此外，在本次研究中，我们还观察到，在训练、验证以及测试数据集（在进行数据增强之前）中右心室（RV）标签的密度分布情况。

图5展示了每个实验中使用的先验概览。面板A呈现了针对每个MNIST数字的先验信息，面板B则涉及了心肌实验中的相关先验设置。面板C则整合展示了多结构心脏分割任务中使用的先验集合及其对应的标签定义。此外，在增强之前的训练、验证和测试数据集上对右心室（RV）标签的分布情况进行展示。

Fig. 6. The heart's segmentation was visualized in three-dimensional space and analyzed at two distinct two-dimensional cross-sections along the short-axis. The topology of each structure varies depending on where the short-axis slice is positioned. For TEDS-Net, accurate topology information is required, thus only slices with matching topology to Slice A were utilized across all experiments.

图6展示了心脏分割结果在三个维度空间（3D）以及两个不同方向上的短轴截面（coronal and sagittal sections）的具体呈现情况。随着不同短轴切片位置的变化，在分析心脏各部分时会发现各个区域可能呈现出不同的拓扑特性。该模型假设所有被分析的对象都具有明确且可预先确定的关键点分布特征，在实验过程中仅针对与图A所示相同的拓扑特征进行了采样处理。

Figure 7 illustrates MNIST digit segmentation results using the TEDS-Net method. The blue lines represent the actual labels (Y), while the red lines indicate the predictions made by TEDS-Net (^Y).

图7展示了基于TEDS-Net在MNIST数字分割任务中的表现。其中蓝色线条对应于真实标签（\hat{Y}），而红色线条则对应于模型预测的结果（\hat{Y}）。

Figures 8 illustrates cases where TEDS-Net has failed to preserve the topological structure of the original, with these instances selected at random.

图8. TEDS-Net未能保持先验拓扑结构的示例，这些示例是随机选择的。

Fig. 9. The impact of σ within the Gaussian smoothing kernel on segmentation performance is illustrated through the average Dice score and Hausdorff distance metrics. The bottom row elucidates σ's role in mitigating folding voxels, where folding voxels are defined as those satisfying % ||𝐽*Φ || ≤ 0 in the bulk (left panel) and fine-tuning branch (right panel).

图9. 高斯平滑核内\sigma对分割性能的影响表明其对分割性能的影响及其平均Dice分数和Hausdorff距离的表现。此外，在底部部分展示了\sigma在防止folded volumetric elements中的作用，并且这些folded volumetric elements满足% ||𝐽*Φ || ≤ 0，在主体（左侧）和微调分支（右侧）中进行定义。

Figure 10 illustrates the qualitative performance of myocardium segmentation using T E D S - N e t compared to baseline methods for four cases labeled (a-d). The reference annotations (𝐘) are displayed in green, while the predicted segmentations (𝑌) are shown in red respectively.

图10展示了TEDS-Net及其基线方法在心肌分割中的定量分析结果，在四个病例组的情况下进行了对比研究。图中绿色代表真实标记(Y)，而红色则代表预测分割结果(Y)。

如图11所示，在五种方法中进行比较分析的是一种基于自动测量的心肌周长误差研究方法。该研究通过计算不同算法下的心肌平均体积变化率来评估其准确性与可靠性。研究发现，在正常情况下该算法能够实现对心肌体积变化率的有效监测；而在病理情况下则表现出较高的灵敏度与特异性指标数值；同时该算法还能够实现对不同患者个体间的可比性评价功能

第十一幅图展示了不同方法在自动化心肌周长测量中的相对误差情况。图表清晰地呈现了绝对误差与已知周长值之间的比率关系，并将这些比率以已知周长值的百分比来表示。研究发现心肌组织的平均厚度约为250个体素（此处"个体素"为固定数值单位）。通过对比各预测结果与真实标签的数据，在深度学习模型中实现了对心肌周长的有效预测，并通过可视化分析展示了不同算法间的性能差异

Fig. 12 illustrates the segmentation performance of 𝐏𝐫𝐯 across all positions as specified in Fig. 5C during validation testing.

图12展示了当 𝐏𝐫𝐯 位于图5C所定义的所有位置时所获得的分割性能，在使用验证集的数据集进行测试的情况下。

Fig. 13 presents visual examples demonstrating how TEDS-Net over-segments images within thin boundary regions compared to ground truth annotations. The reference annotation is displayed in green, while the segmentation results from TEDS-Net are shown in red for various σ values (where σ = 0 corresponds to no smoothing). In addition, arrows have been highlighted at corresponding positions to emphasize segmentation errors occurring at the thinnest portions of each label.

图13展示了TEDS-Net在薄边界区域中出现过度分割问题的定量示例

Table

表

Table 1 presents a summary of each network's performance in segmenting the myocardium from the ACDC dataset. The most notable result, though not statistically significant, is emphasized in bold. The Hausdorff distance (denoted as HD) is measured in millimeters. Additionally, the training time per epoch along with the number of parameters employed by each method are also documented.

表1展示了ACDC数据集中各网络分割心肌性能的综述。其最优结果未达到显著性水平，并被用粗体标出。Hausdorff距离(HD)以毫米作为单位进行测量。同时统计了各方法在每次训练周期所需时间和所使用的参数量。

Table 2展示了TEDS-Net与基准网络在分割性能及拓扑保留比例上的对比结果，在每个结构（右心室 rv、心肌 myo 和左心室 lv 以及整体场景）中进行比较分析。通过粗体显示突出显示了每项指标的最佳表现.

表2 对比了 TEDS-Net 和基线方法在各个结构上的分割性能及拓扑保持率，并详细分析了右心室 rv 、心肌 myo 和左心室 lv 的表现情况；同时对整体场景进行了评估。每个指标的最佳性能均以粗体形式突出显示。