【深度学习】面向医学图像的病灶分割调研(一)
【深度学习】面向医学图像的病灶分割调研(一)
文章目录
1. 研究背景
2. 所选论文介绍
3. 论文分析
3.1 《Modified U-Net (mU-Net) With Incorporation of Object-Dependent High Level Features for Improved Liver and Liver-Tumor Segmentation in CT Images》
4 参考
代码解读1. 研究背景
医学图像分割是医学图像定量分析的关键步骤之一, 因此病灶分割对临床诊断有重要意义。针对传统分割方法中存在的过多依赖医学领域的先验知识和人为评估错误等问题, 提出了基于深度学习的病灶分割方法。
深度学习在各个科学领域都带来了巨大的影响。在计算机视觉领域，这方面的研究是当前最重要的方向之一：医学图像分析（或医学计算机视觉），尤其是基于深度学习方法的医学图像分割。在医学图像分析中，图像分割是一个重要的处理步骤，它可以帮助进行以图像为指引的医学干预、放射疗法或是更有效的放射科诊断等。图像分割的正式定义是“把一个图像划分为无重合的几个区域，这几个区域的并集是整个图像”[1]。在面向各种不同的医学图像模型的文献中，已有非常大量的面向图像分割的深度学习方法被介绍；这些医学图像模型包括X光影像、可见光图像、磁共振设备输出的图像（MRI）、计算机采集的断层图像（PET）、扫描得到的断层图像（CT）以及超声扫描得到的超声波医学图像。深度架构的提升是许多研究者出于不同研究目的而关注的重点，比如防止模型的梯度消失或是梯度爆炸，压缩模型使得其足够小又足够精准。另一些研究者试图通过引入新的优化函数来提升深度神经网络模型的性能。
病灶的检测是计算机辅助疾病诊断的关键步骤之一，即从图像中寻找病灶形状、大小和所处的具体位置。由于医学图像受噪声和成像质量的影响，图像灰度不均匀，不同病人的同类病灶形态特征差异很大。针对这些问题，深度学习方法通过建立大样本数据来提高病灶检测的准确率，提高辅助诊断的效果。目前，在深度学习中目标检测使用较多的网络是R-CNN[2]。R-CNN先用选择搜索的方法提取疑似病灶区域，然后采用深度神经网络提取病灶特征并分类，最后采用回归器进行位置修正。Faster R-CNN使用区域建议网络(Region Proposal Network, RPN) 取代了R-CNN中选择搜索方法，并把R-CNN中分类和位置修正放到同一个深度的网络中，提高了运行速度并减少空间占用[3]。
就上述问题，我对面向医学图像的病灶分割问题进行了调研，本研究的组织如下：第1节介绍了研究的背景；第2节对所选论文进行概述；第3节详细分析了所选论文的方法和结果；关于调研任务中的三个目标放在了第4、5、6节；第7节包括研究计划、讨论和总结。
2. 所选论文介绍
本篇综述对医学图像病灶分割领域的相关研究进行了系统分析与评述。Hyunseok Seo等学者基于U-Net网络框架进行了改进，在跳跃连接中增加了反卷积与激活操作的残差路径设计，显著提升了肝脏及肝脏肿瘤区域的分割效果[1]。Isensee团队则基于nnU-Net框架对模型进行了优化升级，在脑肿瘤分割任务中展现出更强的表现力[2]。此外Isensee等人还对3D U-Net框架进行了改进，在SZCT图像中成功提取出SZ与S肿瘤区域并取得了最优效果[3]作为冠军方案之一。第四篇文章则创新性地将Transformer架构引入医学图像分割领域，在过去几年里卷积神经网络(CNN)在该领域已取得突破性进展特别是在采用U型架构结合跳跃连接的方式下深度神经网络已被广泛应用于各类医学图像分析任务中然而尽管CNN展现出卓越性能但受限于卷积操作局限性难以有效学习全局与远程语义信息之间的相互作用作者首次提出结合3DCNN与Transformer构建适用于MRI脑部肿瘤分割的新网络架构TransBTS[4]这些研究工作在医学图像病灶区域分割方面取得了重要进展为我们后续相关研究奠定了坚实基础
3. 论文分析
This modified version of U-Net, referred to as mU-Net, incorporates object-specific high-level features to enhance liver and tumor segmentation in CT images.
3.1.1 论文背景与研究动机
肝与肝肿瘤的分割作为肝癌放射治疗的关键环节之一,尽管已开发出多种用于描述危险性组织（如QG(OARs)）及肿瘤目标的算法,但因肝脏及肝脏肿瘤与周围组织对比度不高且CT图像形态多变的特点,使得自动分割肝脏及肝肿瘤仍面临较大挑战。近年来，在图像分析领域中,U-Net因其卓越的表现而备受关注,并取得了显著成果。然而,传统U-Net架构仍存在某些局限性。针对这些问题,研究者在传统的U-Net架构中增加了跳跃连接中的一个带有反卷积层并带有激活函数的设计,旨在避免低分辨率特征信息重复丢失现象的发生机制。值得注意的是，在小目标输入条件下,该设计策略下跳跃连接中的特征不会与残留路径中的特征进行合并处理；此外，在该改进体系结构中还增加了额外的卷积层节点,以进一步提取小目标输入所含的高级全局特征以及大目标输入所具有的高分辨率边缘信息的相关高级特征描述内容。通过2017年Lisbon挑战赛（LiTS）提供的公共数据集进行验证实验后发现,mU-Net模型表现明显优于现有先进的神经网络架构
3.1.2 论文实现方式
主要思路是通过调整Skip connection结构实现图像的整体像素特性和细小目标（如边缘）的有效分离。该方法中发现，在U-Net网络架构中虽然经过深入学习得到的高级特征图确实包含丰富的细节描述能力，但在Skip connection环节直接传递高分辨率特征图会导致模型无法有效捕捉到这些细节区域的具体空间位置关系。因此这种简单的连接方式无法充分提取出高质量的目标边界信息。论文通过示意图3-1展示了小目标检测的具体流程，在该框架下采用了阻塞反卷积操作能够有效保留小目标的空间信息，并且在残差路径中整合了更多可学习的空间位置编码机制以便更好地捕捉到这些细部区域的关键特性。具体而言，在该框架中论文通过阻塞残差路径中的反卷积层来保留小目标的信息，并在Skip connection处增加了更多的卷积层以提取更高层次的空间关系描述。
本研究中，在图3-1中对U-Net网络中的跳跃连接进行了优化（用于小目标如病变区域）。对于大目标而言，在Skip connection中仅限于边缘信息的传递以防止低分辨率细节的重复传递（见图3-2）。
图3-2 对大目标如肝脏区域进行U-Net网络的跳跃连接优化
图3-3 mU-Net网络结构
3.1.3 论文总结
在优化U-网架构时，我最初关注点确实放在了编码器与解码器之间的连接上。然而，在深入研究后发现跳转连接的重要性被忽视了。论文中对跳转连接进行了优化，并增加了卷积层以捕捉目标边界特征。根据目标尺寸自适应地提取关键特征，在此过程中能够有效识别较大目标的边界（如肝脏区域）以及较小目标的整体位置特征（如肿瘤区域）。经过这些改进，在肝脏分割方面取得了显著效果（见表3-1）。
表3-1 mU-Net和其他方法在肝脏区域分割上的性能对比
针对肝脏肿瘤分割的mU-Net模型在性能表现上表现出色，具体数据可见表3-2。
对分离出来的切片数据进行还原，并展示其3D可视化分割结果如图3-4所示。其中,(e)标注结果为mU-Net模型输出,(d)作为参考标注。
图3-4 mU-Net和其他方法的分割结果可视化对比
4 参考
[1]. Seo H, Huang C, Bassenne M, et al. Modified U-Net (mU-Net) with incorporation of object-dependent high level features for improved liver and liver-tumor segmentation in CT images[J]. IEEE transactions on medical imaging, 2019, 39(5): 1316-1325.
[2]. Isensee F, Maier-Hein K H. nnU-Net for Brain Tumor Segmentation[C]//Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries: 6th International Workshop, BrainLes 2020, Held in Conjunction with MICCAI 2020, Lima, Peru, October 4, 2020, Revised Selected Papers, Part II. Springer Nature, 2021, 12658: 118.
[3]. Isensee F, Maier-Hein K H. An attempt at beating the 3D U-Net[J]. arXiv preprint arXiv:1908.02182, 2019.
[4]. Wang W, Chen C, Ding M, et al. TransBTS: Multimodal Brain Tumor Segmentation Using Transformer[J]. arXiv preprint arXiv:2103.04430, 2021.
[5]. Haralick RM, Shapiro LG. Computer and Robot Vision[M]. Addison-Wesley. 1992:100-110.
[6]. REN S, GIRSHICK R, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(6): 1137-1149.
[7]. REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]//International Conference on Neural Information Processing Systems. Cambridge, Massachusetts: MIT Press, 2015: 91-99.
[8]. P. Kickingereder, F. Isensee, I. Tursunova, J. Petersen, U. Neuberger, D. Bonekamp, G. Brugnara, M. Schell, T. Kessler, M. Foltyn et al., “Automated quantitative tumour response assessment of mri in neuro-oncology with artificial neural networks: a multicentre, retrospective study,” The Lancet Oncology, vol. 20, no. 5, pp. 728–740, 2019.
[9]. P. Kickingereder, U. Neuberger, D. Bonekamp, P. L. Piechotta, M. Go ̈tz, A. Wick, M. Sill, A. Kratz, R. T. Shinohara, D. T. Jones et al., “Radiomic subtyping im- proves disease stratification beyond key molecular, clinical, and standard imaging characteristics in patients with glioblastoma,” Neuro-oncology, vol. 20, no. 6, pp. 848–857, 2018.
[10]. P. Kickingereder, M. Go ̈tz, J. Muschelli, A. Wick, U. Neuberger, R. T. Shinohara, M. Sill, M. Nowosielski, H.-P. Schlemmer, A. Radbruch et al., “Large-scale radiomic profiling of recurrent glioblastoma identifies an imaging predictor for stratifying anti-angiogenic treatment response,” Clinical Cancer Research, vol. 22, no. 23, pp. 5765–5771, 2016.
[11]. Chen J, Lu Y, Yu Q, et al. Transunet: Transformers make strong encoders for medical image segmentation[J]. arXiv preprint arXiv:2102.04306, 2021.
[12]. Kwak S, Hong S, Han B. Weakly supervised semantic segmentation using superpixel pooling network[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2017, 31(1).
[13]. Cao H, Wang Y, Chen J, et al. Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation[J]. arXiv preprint arXiv:2105.05537, 2021.