【深度学习】面向医学图像的病灶分割调研(二)

【深度学习】面向医学图像的病灶分割调研(二)

    文章目录
    3 论文分析
    	3.1《nnU-Net for Brain Tumor Segmentation》
    	3.2《An attempt at beating the 3D U-Net》
    	3.3《TransBTS: Multimodal Brain Tumor Segmentation Using Transformer》
    参考
    
    
      
      
      
      
      
      
    
    代码解读

3 论文分析

3.1《nnU-Net for Brain Tumor Segmentation》

论文背景与研究动机
脑肿瘤分割被公认为医学领域中最具挑战性的分割任务之一[4]。它不仅有助于提升诊断准确性[7]、治疗效果评估以及疾病预后分析[8]等临床应用水平[9]，还能辅助识别新的影像学 biomarkers[10]以促进疾病分层[11]及预测[12]研究的发展。此外，在此过程中对脑肿瘤及其亚区域的精细划分能够帮助发现新的影像学 biomarkers, 这反过来又能提升疾病分层分析的精确度以及预测模型的效果[13][14][15].

论文实现方式
该研究将 nnU-Net网络应用于 BraTS 2020 挑战赛中的细分任务中进行求解. 在基础配置表现良好之后, 我们结合特定调整项, 包括后处理优化、训练策略改进以及数据增强方法引入等综合手段, 进一步优化了网络性能指标. 此外, 研究团队还采用了自定义评估方案以满足特定需求. 实验结果表明, 所提出的方法在 BraTS 2020 挑战赛中取得了优异成绩: 全肿瘤 Dice 系数达 88.95%, 肿瘤核心区域 Dice 系数达到 85.06%, 增强肿瘤区域 Dice 系数则为 82.03%. HD95 值分别为 8.498、17.337 和 17.805, 显著优于现有方法[6].

图3-5展示了基于nnU-Net架构构建的网络结构图

验证集的分割结果如表3-4所示，在该分割结果中可以看出增强肿瘤区域（HD95）在分割结果中显著大于完整肿瘤区域和肿瘤核心区域

更多的分割结果如图3-6所示，包括不同程度肿瘤的分割情况。

图3-6 验证集分割结果定性分析

3.2《An attempt at beating the 3D U-Net》

论文背景与研究动机
SZ肿瘤每年数量巨大，被公认为一种重要的社会关注的焦点健康问题。目前而言，在临床医疗领域内手术被视为治疗这类肿瘤的主要手段。实现对SZ区域以及肿瘤组织的语义分割对于临床诊断具有重要意义。本文的核心目标是通过SZCT图像实现对SZ区域及其相关肿瘤的精准分割。
论文实现方式
在本研究中采用的预处理步骤主要包括图像重采样与亮度剪切等操作，在现有3D U-Net架构的基础上进行了适度优化以提高性能，并将该网络结构命名为融合了3D U-Net结构与残差网络模块的设计理念（如图3-7所示）。

图3-7展示了基于本研究改进后的3D U-Net网络架构。
论文综述部分详细探讨了本研究的核心内容及其应用前景。
在处理分割任务时，除了传统的网络架构优化之外，在本研究中我们还特别设计了适用于该领域的预处理方法。
通过表3-5可以看出，在竞赛中采用该方法取得了显著的效果。
表3-5展示了KiTS数据集上的消融实验结果。

3.3《TransBTS: Multimodal Brain Tumor Segmentation Using Transformer》

论文背景与研究动机
Transformer可以从使用自注意力机制进行全局信息建模中受益，近来来已经在自然语言处理和2D图像分类方面取得了成功。然而，局部和全局特征对于密集的预测任务都至关重要，特别是3D医学图像分割任务。3D图像分割即关注局部也关注全局，这就是论文研究的出发点，即不仅仅需要Transformer这种全局信息，同时也需要得到CNN那种的局部信息，所以进行了改进。论文首次探索了将3DCNN中的Transformer进行MRI的脑部肿瘤分割，提出了一个基于编码和解码结构的新网络TransBTS。
论文实现方式
为了捕获局部的3D上下文信息，编码器首先使用3DCNN来提取三维空间特征图。解码器利用Transformer嵌入的特征并执行渐进式上采样以预测详细的分割图。下图3-8给出了所提出的TransBTS结构，

图3-8 TransBTS的总体架构
首先对MRI图像数据切片，使用3D CNN来生成紧凑的特征图捕获空间和深度信息，然后利用Transformer编码器在全局空间中建立长距离依赖模型。最后对上采样层和卷积层进行多次叠加，逐步得到高分辨率的分割结果。
论文总结
TransUNet[7]是一个2D网络 ，以切片的方式处理每个3D医学图像。但是，论文中的TransBTS是基于3DCNN并一次处理所有图像切片，从而可以更好的利用切片之间的连续信息。即TransUNet仅仅关注标记化图像块之间的空间相关性，但是论文中的方法同时可以对切片/深度维度和空间维度中的长程依赖关系进行建模，以实现三维分割。由于TransUNet采用了ViT结构，因此它依赖于大规模图像数据集上预训练的ViT模型，相比之下，论文提出的TransBTS具有灵活的网络设计，并且在任务特定的数据集上从头开始训练，而无需依赖预训练的权重。
论文首先在BraTS 2019训练集上进行五折交叉验证评估， TransBTS实现在ET,WT,TC的平均Dice系数分数为78.92%，90.23%，81.19%，同时在BraTS2019验证集上进行了实验，比较了TransBTS与现有最先进的3D方法，量化结果如表3-6。
表3-6 在BraTS 2019验证集上的分割评价结果比较

在定性分析方面, 论文展示了多种方法（如3D U-Net、V-Net和TransBTS）在脑肿瘤分割结果上的视觉对比. 通过图3-9的数据可以看出, TransBTS能够更加精准地描述脑肿瘤, 并利用长距离依赖关系建模以更为显著的效果生成精确分割掩膜.

图3-9 基于Transformer的多模态脑肿瘤分割

参考

[1]. Seo H, Huang C, Bassenne M, et al. Modified U-Net (mU-Net) with incorporation of object-dependent high level features for improved liver and liver-tumor segmentation in CT images[J]. IEEE transactions on medical imaging, 2019, 39(5): 1316-1325.
[2]. Isensee F, Maier-Hein K H. nnU-Net for Brain Tumor Segmentation[C]//Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries: 6th International Workshop, BrainLes 2020, Held in Conjunction with MICCAI 2020, Lima, Peru, October 4, 2020, Revised Selected Papers, Part II. Springer Nature, 2021, 12658: 118.
[3]. Isensee F, Maier-Hein K H. An attempt at beating the 3D U-Net[J]. arXiv preprint arXiv:1908.02182, 2019.
[4]. Wang W, Chen C, Ding M, et al. TransBTS: Multimodal Brain Tumor Segmentation Using Transformer[J]. arXiv preprint arXiv:2103.04430, 2021.
[5]. Haralick RM, Shapiro LG. Computer and Robot Vision[M]. Addison-Wesley. 1992:100-110.
[6]. REN S, GIRSHICK R, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(6): 1137-1149.
[7]. REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]//International Conference on Neural Information Processing Systems. Cambridge, Massachusetts: MIT Press, 2015: 91-99.
[8]. P. Kickingereder, F. Isensee, I. Tursunova, J. Petersen, U. Neuberger, D. Bonekamp, G. Brugnara, M. Schell, T. Kessler, M. Foltyn et al., “Automated quantitative tumour response assessment of mri in neuro-oncology with artificial neural networks: a multicentre, retrospective study,” The Lancet Oncology, vol. 20, no. 5, pp. 728–740, 2019.
[9]. P. Kickingereder, U. Neuberger, D. Bonekamp, P. L. Piechotta, M. Go ̈tz, A. Wick, M. Sill, A. Kratz, R. T. Shinohara, D. T. Jones et al., “Radiomic subtyping im- proves disease stratification beyond key molecular, clinical, and standard imaging characteristics in patients with glioblastoma,” Neuro-oncology, vol. 20, no. 6, pp. 848–857, 2018.
[10]. P. Kickingereder, M. Go ̈tz, J. Muschelli, A. Wick, U. Neuberger, R. T. Shinohara, M. Sill, M. Nowosielski, H.-P. Schlemmer, A. Radbruch et al., “Large-scale radiomic profiling of recurrent glioblastoma identifies an imaging predictor for stratifying anti-angiogenic treatment response,” Clinical Cancer Research, vol. 22, no. 23, pp. 5765–5771, 2016.
[11]. Chen J, Lu Y, Yu Q, et al. Transunet: Transformers make strong encoders for medical image segmentation[J]. arXiv preprint arXiv:2102.04306, 2021.
[12]. Kwak S, Hong S, Han B. Weakly supervised semantic segmentation using superpixel pooling network[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2017, 31(1).
[13]. Cao H, Wang Y, Chen J, et al. Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation[J]. arXiv preprint arXiv:2105.05537, 2021.