AI在医学影像分割中的应用综述 | 综述性文章推荐 | 基于深度学习的骨盆骨骼分割技术：大量标准CT数据集与基准模型系统

我们为大家带来人工智能技术在医学影像分割上的应用文献。

人工智能技术在医学影像分析领域扮演着不可或缺的角色，在尤其是图像分割技术方面的应用尤为突出。
该技术的主要目标是精确识别人体内的重要器官以及异常病变区域。
例如像肺部这样的器官以及像结节这样的病变区域都可能被检测出来。
高质量的空间分割结果对于制定精准手术方案具有重要意义，
其结果不仅有助于疾病的确诊与分期评估，
而且在术后效果预测方面也发挥了关键作用。
该方法能够帮助医生更加清晰地定位病变区域并准确测量其大小与形态特征。
通过引入基于人工智能的新一代算法框架，
我们成功开发出了一种高效的图像处理系统。
该系统不仅能够在较短时间内完成复杂的计算任务，
而且显著提升了整个空间分割过程的速度与准确性，
从而大幅缩短了计算所需的时间资源。

01

文献速递介绍

脊柱与下肢之间的连接部位称为骨盆，在支撑身体平衡功能以及保护内脏方面起着基础性作用。它出现的问题包括髋关节发育不良、股骨头坏死以及acetabulum缺陷等多种形态学特征和功能障碍形式。其中最严重的状况是股骨颈骨折这类破坏性骨折，在这种情况下可能伴随其他脏器受损而出现死亡率高达45%的情况。医学影像学技术在评估这类患者的损伤程度以及制定治疗方案的过程中发挥着不可替代的作用。与传统的X射线图像相比，在CT扫描中不仅能够清晰地捕捉到真实的解剖构造信息还包括深度维度的数据信息这为外科医生提供了更为详尽的空间解剖关系数据从而有助于进行三维重建工作以便制定后续手术计划并进行术后效果评价。在这一系列的应用过程中准确划分骨骼尤其是 pelvis 骨骼对于判断骨骼损伤的程度具有重要意义这有助于外科医生做出更加合理的诊断结论并选择最优手术入口点为此阶段的技术发展仍面临诸多挑战例如现有技术手段多依赖于经验丰富的医生进行复杂的操作且操作流程较为繁琐耗时费力且难以实现标准化操作流程优化以提高手术成功率进而推动相关技术的发展

为了满足这些临床需求，本文提出了一种能够准确快速地从CT中分割骨盆骨的自动算法。现有的从CT中分割骨盆骨的方法大多使用简单的阈值、区域生长和手工模型，其中包括可变形模型、统计形状模型、分水岭和其他。这些方法专注于局部灰度信息，由于皮质骨和骨小梁之间的密度差异，精度有限。而骨小梁在纹理和强度方面与周围组织相似。如果存在骨折，则进一步导致弱边缘。最近，基于深度学习的方法在图像分割方面取得了巨大的成功；然而，它们对CT骨盆骨分割的有效性还不完全清楚。虽然有一些与骨盆骨相关的数据集，但其中只有少数是开源的，并且大小较小(小于5张图像或200张切片)，远远少于其他器官。虽然进行了基于深度学习的实验，但结果并不是很好(骰子=0.92)，数据集只有200个CT片。对于深度学习方法的鲁棒性，拥有一个包括尽可能多的真实场景的综合数据集至关重要。本文通过策划一个大规模的CT数据集来弥补这一差距，并探索深度学习在这一任务中的应用，据我们所知，这是该领域的第一次真正尝试，具有更多的统计意义和参考价值。为了构建一个全面的数据集，我们必须处理由于成像分辨率和视野(FOV)的差异、不同部位产生的域移位、造影血管、粪便和食糜、骨折、低剂量、金属伪影等因素引起的各种图像外观变化。图1给出了这些不同条件的一些示例。在上述外观变化中，金属伪影的挑战是最难处理的。此外，本文的目标是将骨盆分割为多个骨头，包括腰椎、骶骨、左髋和右髋，而不是简单地从CT中分割出整个骨盆。本文的贡献总结如下：- 从多个领域和不同制造商汇集的骨盆CT数据集，包括1184个CT卷(超过320K CT切片)的不同外观变化(包括75个带有金属伪影的CT)。它们的多骨标签由专家仔细注释。我们将其开源以造福整个社区；- 学习一个深度多类分割网络[14]，从多领域标记的图像中获得腰椎、骶骨、左髋和右髋分割的更有效表示，从而获得所需的准确性和鲁棒性；- 一个全自动分析管道，实现了高精度、高效率和鲁棒性，从而使其在临床实践中具有潜在的应用价值。

Title

题目

Advanced machine learning techniques are utilized to classify the structures of lower pelvis in comprehensive medical imaging data sets and foundational analytical systems.

深度学习分割骨盆骨骼：大规模CT数据集和基线模型

Abstract

摘要

In CT imaging, the segmentation of pelvic bones has long been considered an essential component in clinical diagnosis and surgical preparation for pelvic bone diseases. The existing approaches for pelvic bone segmentation are predominantly either manually designed or semi-automated techniques. These methods encounter significant limitations in terms of accuracy when handling diverse challenges such as multi-site domain shifts, vessel contrast enhancement effects, gas embolisms (coprolith), fractured bones (chyne), low radiation doses (low dose), metal-induced artifacts (metal artifacts), and so on. The absence of comprehensive annotated datasets for large-scale盆腔CT scans restricts the full potential exploration of deep learning-based solutions.

在CT影像中对骨盆骨骼进行划分一直是临床诊断和骨盆及骨疾病手术规划中的关键环节。传统的分割方法主要分为两类：全手工操作和半自动模式。当面临由多个区域间的转换、具有明显血管对比以及含有粪石、食糜等消化道物质、骨折情况以及成像参数设置不当等因素导致图像外观发生变化时，在这些复杂情况下的分割准确性均受到限制。由于现有标注的大规模数据集缺乏系统性研究，在深度学习技术的应用上仍处于探索阶段

Methods

方法

In this study, our focus is on bridging data gaps through compiling a comprehensive pelvic CT dataset sourced from various platforms. The dataset incorporates 1184 CT volumes exhibiting diverse appearances. To our best knowledge, we propose an innovative approach for the first time that enables deep multi-class network learning for simultaneous segmentation of lumbar spine, sacrum, left hip and right hip using multi-domain images. This method aims to achieve accurate and reliable feature extraction by integrating advanced computational techniques. The post-processing step utilizes the signed distance function (SDF) for enhanced precision in analyzing anatomical structures.

本文的主要目标是通过整合多源的大型骨盆CT图像集合来填补现有数据的不足。其中包括了1184个CT体积以及多种形态变化。据我们的了解，在这一领域尚缺乏针对多域图像联合分割的研究成果。因此，我们决定开发一个深度学习模型：该模型能够同时处理多域图像中的脊椎、 sacrum、 left hip 和 right hip 的分割。最后，为了提升分割效果，在模型之后附加了一种基于有符号距离函数（SDF）的后处理器。

Results

结果

大量实验结果表明我们的自动方法表现出色，在无金属环境下实现了平均Dice分数为0.987的优异性能。与传统后处理器相比，SDF后处理器通过降低了15.1%的Hausdorff距离显著提升了精度。

经过全面测试与数据集分析研究的基础上

Conclusions

结论

We anticipate that this comprehensive dataset will serve as a catalyst for fostering collaboration across the entire community by encouraging them to contribute to and benefit from collective advancements. We intend to make publicly available essential resources including detailed image datasets, annotated segmentations, source code repositories, and pre-trained models accessible via our GitHub repository located at https://github.com/ICT-MIRACLE-lab/CTPelvic1K. The keywords for this study include CT dataset, pelvic segmentation, deep learning, and SDF post-processing.

基于此分析结果表明：该大规模数据集将有助于推动整个医疗影像社区的发展，并在GitHub存储库https://github.com/ICT-MIRACLE-lab/CTPelvic1K中提供了CT数据集图像、注释信息以及经过SDF后处理的代码和训练好的基线模型

Figure

图

Fig. 1 Pelvic CT image examples with various conditions

图 1. 不同条件下的骨盆CT图像示例

_Fig. 2 The annotation pipeline based on AID strategy is illustrated in Figure 2. The process consists of four main steps: (1) two senior experts manually labeled 40 cases as the initial dataset; (2) a deep learning model was trained using this labeled dataset to classify new data instances; (3) the initial labels from the deep learning model were reviewed and refined by human annotators; (4) steps 2 and 3 were repeated iteratively through training iterations, gradually enhancing the performance of the model until it became an increasingly capable 'annotator'. The resulting annotator effectively standardizes annotations across diverse human annotators.

图 2 描述了基于 AID（采用迭代深度学习策略进行注释优化）的一种注释流程设计图示。具体来说，在第一步骤中，在线下领域聚集了两位经验丰富的专家团队，在他们精心协作的过程中完成了对 40 个样本数据进行的手动标注工作，并将其确立为初始数据库的基础库。随后，在第二阶段中，则通过利用人工标注的数据集训练了一个深度学习模型，并运用此模型对后续的新样本数据进行预测性标注工作。在第三阶段中，则由人工标注者的反馈机制对模型初版输出进行校验与修正工作。值得注意的是，在这一过程中，“人工标注者”与“模型初版输出”之间会持续发生相互校验与优化的关系：即通过反复迭代操作，“模型初版输出”的质量得以不断提升和完善，并最终形成了一个能够不断精炼自身功能以实现更加精准标注能力的"人工标注者"系统；这一系统不仅能够整合不同个体的人工标注标准差异问题，在持续优化的过程中实现了对统一的人类标注标准的有效统一。

Fig. 3 Overview of our system for segmenting pelvic bones, which utilizes diverse sets of CT imaging data to achieve accurate and reliable representations. The 3D U-Net architecture leverages extensive spatial details from 3D CT scans, enabling the extraction of intricate anatomical structures. SDF is incorporated into our post-processing stage, where it enforces both size and distance constraints alongside the conventional size-based limitations employed by traditional MCR-based methods.

图 3 是展示骨盆骨骼分割系统的概览图。该系统通过从多域CT图像中进行学习训练，并旨在提供稳定且可靠的表示结果。具体实现时采用了三维U-Net级联架构，并充分考虑到了其在捕捉复杂的空间关系方面的能力。在后处理阶段我们引入了体素距离场（SDF），这种方法不仅保留了传统基于最大可达性半径（MCR）方法的有效性外，并进一步加入了距离约束条件以提升模型的精确度。

_在表3中展示了DC与HD结果的热图可视化。_垂直轴代表不同的子数据集，而水平轴代表不同的模型。_为了更好地展示正常值范围，在DC中设定边界值为0.95，在HD中则设为30._超出范围的数值在网格中标注出来了。_右下角的一个十字标记表示没有相应的实验结果._在这种情况下，它可以帮助我们更好地理解不同数据集之间的关系.这些实验结果验证了我们提出的方法是有效的.

图 4 和表 3 中展示了 DC 和 HD 结果的热图分布情况

Figure 5 shows the visualization of segmentation outcomes across six distinct datasets evaluated using various models. The various colors in these visualization results correspond to specific anatomical structures: white for the amygdalus (Hippocampus), green for the left hip bone (left ilium), blue for the right hip bone (right ilium), and yellow for the lumbar spine.

图 5 是展示了六个不同数据集在多个模型中进行评估后的分割结果表现可视化图表。其中，不同颜色区域具体对应于骶骨部位（以白色表示）、左髋关节（以绿色表示）、右髋关节（以蓝色表示）以及腰椎区域（以黄色表示）。

This figure illustrates a comparison of post-processing techniques, namely conventional MCR and the new SDF-based filtering approach.

图 6 后处理方法的比较：传统的MCR和提出的SDF过滤。

Table

表

表1展示了我们大规模Pelvic CT数据集的概览。其中符号'#"代表3D体积的数量；'Tr/Val/Ts'分别代表训练集/验证集/测试集；ticks标记在表格中表示我们能够访问的内容。

A CT imaging device manufacturer's information regarding that sub-dataset. Due to the difficulty in labeling CLINIC-metal, it is removed from our supervised training period.

表 1 是我们对大规模骨盆CT数据集的概述。'‘#’'标识了3D体素的数量。'‘Tr/Val/Ts'则分别代表训练集/验证集/测试集。表格中的标记项[]表明我们可以访问该子数据集中CT图像采集设备制造商的信息[M]。由于CLINIC-metal标记的挑战，在我们的监督性训练阶段将其排除了。

_Table 2 (a) Denoting the DC and HD results for various models tested on the 'ALL' dataset. (b) Analyzing the impact of different post-processing techniques on 'ALL' data. 'ALL' signifies six distinct metal-free sub-datasets. The term 'average' is used here to refer to the mean values obtained across four anatomical structures for their respective DC and HD metrics. In contrast, 'whole' pertains to an integrated approach where the sacrum is considered together with both hips and the lumbar spine as a unified structure. The top three numerical results in each category are highlighted in bold colors: red, blue, or black.]

表 2(a)基于'ALL'数据集上不同模型的DC与HD表现进行了评估。（b）采用不同后处理方法在'ALL'数据集上进行功能验证.' ALL'被定义为分为六个子数据集.' Average'指四个解剖结构DC/HD的表现均值.' Whole'则将骶骨、左髋、右髋及腰椎整合为一个整体骨骼分析.每个段落前三个数值分别以粗体红体及蓝体标注

表3 Mean DC and HD outcomes across various models diverse datasets. The detailed information can be found in Online Resource 1. Their first second third positions are highlighted in bold red and blue respectively.

表 3 涉及了多个不同数据集上的评估，在每个部分中均计算了'平均'DC和HD指标的具体数值。这些结果的详细信息请参阅在线资源1中的相关部分。需要注意的是，在每个部分中前三个数值采用了粗体显示，并分别以红色和蓝色标记区分不同的指标维度。