【深度学习】面向医学图像的病灶分割调研(三)
【深度学习】面向医学图像的病灶分割调研(三)
文章目录
任务1
任务2
任务3
基于剪枝Swin-Unet进行医学图像病灶分割
总结
参考
代码解读任务1
理解深度学习在医学图像中的应用并总结：
在过去的几十年里，计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描术(PET)、乳房X光检查、超声波、X射线等医学成像技术，已被广泛用于疾病的早期发现、诊断和治疗。在临床上，医学图像的解释大多是由放射科医生和内科医生等人类专家进行的。然而，考虑到病理上的巨大差异和人类专家的潜在疲劳，研究人员和医生已经开始从计算机辅助干预中受益。虽然计算医学图像分析的发展速度没有医学成像技术那么快，但随着机器学习技术的引入，这种情况正在改善。在机器学习应用的过程中，发现或学习能够很好地描述数据固有规律或模式的有效特征，在医学图像分析的各种任务中起着至关重要的作用。传统上，有意义的或与任务相关的特征通常主要是由人类专家根据他们对目标领域的知识设计的，这使得非专家在自己的研究中利用机器学习技术具有挑战性。与此同时，努力学习基于预定义字典的稀疏表示，而这是可能会从训练样本中学习到的。在许多科学领域中，稀疏表示的动机是简约原则，即对给定观测的最简单解释应该优先于更复杂的解释。然而，深度学习通过将特征工程步骤合并到学习步骤中，克服了这个障碍。也就是说，深度学习只需要经过较小预处理的一组数据，然后以自学方式发现信息表示，而不是手动提取特征。因此，特征工程的负担已经从人类转移到了计算机上，使得机器学习中的非专家可以有效地将深度学习用于他们自己的研究和应用，特别是在医学图像分析中。此外，深度学习应用在医学图像分割上，追求的往往是优雅的端对端框架。
深度学习在医学图像领域的一些限制：
缺少高质量的标注的训练样本，因此训练出来的模型可能是过拟合的或者说推广性不好，因此需要将的到的模型放在各种情况下测试推广性。
深度学习得到的模型是一个黑盒子，无法解释其有效性，在一些特殊的情况下会出现非常奇怪无法解释的问题，因此在医疗行业中的接受度也是一个问题。
任务2
在医学成像过程中，图像不可避免地会受到噪声、伪影等多种因素的影响。有哪些预处理方法或图像处理技术能够有效获取较为干净的训练数据？ 在眼底血管图像分割任务中，请问您采用的图像是如何进行预处理的？ 该流程在眼底血管图像分割中取得了良好的效果
在医学成像过程中，图像不可避免地会受到噪声、伪影等多种因素的影响。有哪些预处理方法或图像处理技术能够有效获取较为干净的训练数据？ 在眼底血管图像分割任务中，请问您采用的图像是如何进行预处理的？ 该流程在眼底血管图像分割中取得了良好的效果
图5-1 图像预处理流程
（1）细节增强。DRIVE和STARE两个数据库的眼底图像都为RGB图像，每个像素颜色由红、绿、蓝三色的混合值组成。为提高分割准确率，本文首先使用ESRGAN网络处理每个数据集的20张图像。处理之后眼底图像对比度增高，血管轮廓与背景差距增大，噪声也变小，有利于后续血管分割。
（2）灰度转换。将原彩色的眼底图像转换为红色（R）、绿色（G）和蓝色（B）3个通道的图像，使用噪声更小的通道图像。
（3）标准化。对G通道的眼底图像的均值和标准差进行归一标准化，再对正向序列x1,x2,…,xn进行变换：
（4）对比度受限的自适应直方图均衡化（CLAHE）。该算法通过减少对比度受限区域的直方图范围来增强图像数据对比度，在将眼底图像切割为8行8列共64个子块后进行处理；通过预先设定的标准对每个子块执行直方图均衡化，并对超出阈值范围的部分进行裁剪以达到预期效果；通过这种方式抑制噪声干扰并提高图像清晰度。（5）伽马变换用于调整输入眼底图像的光照强度；对输入灰度图像应用非线性运算以调节光照强度；使得输入灰度值与输出灰度值呈指数关系
该处理增强了眼底图像在暗部区域的细节表现。经由非线性变换后使得该种方法使眼睛更容易识别复杂的微小病变特征。对于亮度失衡或过于昏暗的图片进行矫正以恢复自然视觉感受。
在肝脏CT自动分割任务中所采用的方法如图5-2所示。在预处理阶段首先将所有肝脏CT图像的Hounsfield强度值调整至[-200, 200]范围内随后对调整后的图像进行直方图均衡化处理以增强对比度和清晰度并将其z轴间距设置为1mm最终将所有数据归一化至[0,1]范围并通过标准化操作优化模型权重整个预处理流程如图3所示
任务3
近几年基于深度学习的病变/肿瘤分割的发展动向如何？（例如，在医疗数据集规模较小、标注难度较大的背景下，诸多研究倾向于采用弱监督学习方法）？在网络模型方面，在过去几年里，卷积神经网络(CNN)在医学图像分析领域已取得突破性进展。具体而言，在这一领域内逐渐兴起并广泛应用于各类型医学图像任务的是基于U-Net架构的各种改进型网络体系，并且这些系统均取得了令人满意的实验效果。然而受限于卷积操作的技术局限性，在全局语义信息处理方面仍存在明显不足。近期的一项创新研究则展示了 promise——一种全新的全Transformer架构模型，在这一领域中的应用表现更为出色，并且其性能优于Att-UNet等现有算法。该模型采用了Swin Transformer构建Encoder模块、设置Bottleneck并设计Decoder模块的方式进行优化。经过设计的跳跃连接将标记化的图像块输入到基于Transformer技术构建的U型Encoder-Decoder架构中，并通过这种机制实现对局部与全局语义特征的有效融合与提取。具体结构图见图6-1
图6-1 Swin-Unet网络结构
在数据增强和训练方法层次，由于医学图像标签获取费时费力，且成本极高，半监督和弱监督学习势必成为图像语义分割中深度学习方法的主流。这篇论文[12]提出了一种基于深度神经网络的弱监督语义分割算法，该算法仅依赖于图像级类标签。所提出的算法在生成分割注释和使用生成的注释学习语义分割网络之间交替。该框架成功的关键决定因素是仅在给定图像级标签的情况下构建可靠初始注释的能力。为此，论文提出了超像素池化网络（SPN），它利用输入图像的超像素分割作为汇集布局，以反映用于学习和推断语义分割的低级图像结构。然后，使用由SPN生成的初始注释来学习估计像素方式语义标签的另一神经网络。分段的体系结构网络将语义分割任务分解为分类和分割，以便网络在嘈杂的注释之前学习类别不可知的形状。事实证明，两个网络对于提高语义分割准确性至关重要。
此外，我认为使用GAN网络生成大量的医学图像样本也是一个解决医学图像标注数据量少的好方法。在训练方法层次上，我认为孪生网络和知识蒸馏也能很好解决小样本训练问题。
基于剪枝Swin-Unet进行医学图像病灶分割
Swin-Unet[13]这一模型，在医学图像分割领域具有与U-Net相似的表现。经过分块标记处理并借助跳跃连接机制后，在基于Transformer架构构建的U形Encoder-Decoder框架下展开特征提取与学习。该模型在医学图像分割任务中的有效性已得到充分验证（见表7-1）。 表7-1 不同方法在ACDC数据集上的分割精度
我对此模型提出了两个改进建议。首先，在当前环境下运行效率较低的问题上可采取措施进行优化提升。相较于厚重型架构，在临床应用中更为精炼的小型网络展现出更好的性能。其次，在实际医疗场景中的应用效果有待进一步验证与提升。将其实现于病变区域界定了目标位置后的情形中，则可构建一个端到端多分类框架，并通过系统性地进行模型剪枝优化来降低计算开销。从而能够同时识别病变组织与肿瘤区域。
总结
在肝癌的诊断与手术规划这一领域中，肝脏分割被视为一个不可或缺的关键步骤。放射科专家在获得患者CT影像后，在每个切片上进行细致的人工标注工作以确定肝脏区域及肿瘤区域。尽管如此这一过程既费时又容易受到医生个人主观意识的影响。基于经典U-Net架构在医学图像分类任务中表现卓越但仍然存在一些局限性首先U-Net卷积层输出后的特征图缺乏对特征信息的二次提炼环节；其次模型面临类别不平衡问题可能导致其在分割小肝脏区域、非连续性肝区以及肿瘤边界模糊区时出现偏差；再者U-Net网络通过逐步下采样处理降低了输入图像的空间分辨率从而影响了分割精度；最后随着网络深度的增长模型容易陷入梯度消失问题进而影响整体性能
参考
[1]. Seo H, Huang C, Bassenne M, et al. Modified U-Net (mU-Net) with incorporation of object-dependent high level features for improved liver and liver-tumor segmentation in CT images[J]. IEEE transactions on medical imaging, 2019, 39(5): 1316-1325.
[2]. Isensee F, Maier-Hein K H. nnU-Net for Brain Tumor Segmentation[C]//Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries: 6th International Workshop, BrainLes 2020, Held in Conjunction with MICCAI 2020, Lima, Peru, October 4, 2020, Revised Selected Papers, Part II. Springer Nature, 2021, 12658: 118.
[3]. Isensee F, Maier-Hein K H. An attempt at beating the 3D U-Net[J]. arXiv preprint arXiv:1908.02182, 2019.
[4]. Wang W, Chen C, Ding M, et al. TransBTS: Multimodal Brain Tumor Segmentation Using Transformer[J]. arXiv preprint arXiv:2103.04430, 2021.
[5]. Haralick RM, Shapiro LG. Computer and Robot Vision[M]. Addison-Wesley. 1992:100-110.
[6]. REN S, GIRSHICK R, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(6): 1137-1149.
[7]. REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]//International Conference on Neural Information Processing Systems. Cambridge, Massachusetts: MIT Press, 2015: 91-99.
[8]. P. Kickingereder, F. Isensee, I. Tursunova, J. Petersen, U. Neuberger, D. Bonekamp, G. Brugnara, M. Schell, T. Kessler, M. Foltyn et al., “Automated quantitative tumour response assessment of mri in neuro-oncology with artificial neural networks: a multicentre, retrospective study,” The Lancet Oncology, vol. 20, no. 5, pp. 728–740, 2019.
[9]. P. Kickingereder, U. Neuberger, D. Bonekamp, P. L. Piechotta, M. Go ̈tz, A. Wick, M. Sill, A. Kratz, R. T. Shinohara, D. T. Jones et al., “Radiomic subtyping im- proves disease stratification beyond key molecular, clinical, and standard imaging characteristics in patients with glioblastoma,” Neuro-oncology, vol. 20, no. 6, pp. 848–857, 2018.
[10]. P. Kickingereder, M. Go ̈tz, J. Muschelli, A. Wick, U. Neuberger, R. T. Shinohara, M. Sill, M. Nowosielski, H.-P. Schlemmer, A. Radbruch et al., “Large-scale radiomic profiling of recurrent glioblastoma identifies an imaging predictor for stratifying anti-angiogenic treatment response,” Clinical Cancer Research, vol. 22, no. 23, pp. 5765–5771, 2016.
[11]. Chen J, Lu Y, Yu Q, et al. Transunet: Transformers make strong encoders for medical image segmentation[J]. arXiv preprint arXiv:2102.04306, 2021.
[12]. Kwak S, Hong S, Han B. Weakly supervised semantic segmentation using superpixel pooling network[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2017, 31(1).
[13]. Cao H, Wang Y, Chen J, et al. Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation[J]. arXiv preprint arXiv:2105.05537, 2021.