医学图像分类_【阅读笔记】深度学习在医学图像分析领域的综述
本人硕士研究生在读,目前在做医学图像配准方面的工作。
该论文主要探讨了深度学习在医学图像配准中的应用进展,并将其分为两类:基于相似性度量的深度学习方法和直接预测转换参数的深度学习方法。研究指出深度学习虽然在配准效果上接近甚至超越传统方法但仍有待解决数据集缺乏和模型解释性不足等问题。未来研究可结合无监督学习和可解释性模型进一步提升配准效果并应用于更多医学领域如皮肤学眼科学等。

本人硕士研究生在读,目前在做医学图像配准方面的工作。
正在深入学习深度学习技术在医学影像配准领域的最新动态时,在阅读一篇高质量综述文献中发现了许多有价值的内容。该研究系统地总结了近年来深度学习技术的发展与应用现状,并对现有算法进行了全面分析与评估。A survey on deep learning in medical image analysis, published in 2017. 这篇文章不仅提供了理论框架,还详细探讨了其在医学影像处理方面的具体应用前景与未来发展方向
先放一下该论文的思维导图

该图片源自 GitHub 代码仓库中的资源链接:https://raw.githubusercontent.com/FengHZ/FengHZ.github.io/master/images/suvery-on-dl-in-mia/mind_map.png
此作品的知识产权完全归属于原作者 FengHZ。
如果想了解相关进展,请直接阅读该论文的第三部分。
该平台系统涵盖医学图像的多个核心研究方向
鉴于时间紧迫,我在此重点阐述了第三部分第四节(基于深度学习技术为基础的医学领域)的图像配准问题.
(基于深度学习方法的医学)图像配准
- 应用背景
 
图像配准可用于医学图像处理和分析领域中的诸多实用应用。随着医学影像技术的发展,在同一患者的多个扫描序列中可获取高精度的解剖学特征数据如CT、MRI;此外还可以获得功能性相关的影像资料如SPECT等
然而,在临床医学影像诊断过程中,并非仅凭空间想象力和医生个人的经验即可完成任务。合理应用图像配准技术能够整合来自不同源的信息到同一坐标框架下。这种技术不仅使医生能够更加便捷且精准地从多个视角分析病变区域,并且还能够实现对病变程度及解剖结构变化的定量评估。在动态医学影像处理中,在正确实施配准的基础上进行形态学分析能够实现对病变程度及解剖结构变化的定量评估。这不仅有助于提高医疗诊断水平以及制定手术方案时的数据支撑能力,
还为制定放射性治疗方案提供科学决策依据。

待配准图像

待配准图像直接叠加后的伪彩色对比图

配准后图像的伪彩色对比图
2. 配准定义 配准过程涉及运用特定技术手段,在设定的评价准则下实现多个影像(部分区域)的最佳相互对应关系建立。一般而言,在这一过程中会将单幅影像的坐标信息对应到另一幅影像上,并最终生成最终配准结果。
传统的配准方法采用迭代优化策略,在每一步中首先采用相似性度量作为评价指标(如L2范数、互信息),通过不断更新参数或进行非参数变换来逐步优化,最终使配准后的源图像与目标图像的相似度达到最大。
如今,在医学图像分析领域中,深度学习已成为当前最热门的技术之一,在器官分割、病灶检测及分类任务方面已展现出显著的应用价值。相比于传统配准方法,“基于深度学习的医学图像配准技术”不仅具有显著的优势而且前景广阔。鉴于此,在这一领域内不断涌现着大量研究者对此进行探索与开发;近年来围绕这一技术的相关研究工作也不断涌现。
3. 基于深度学习的医学图像配准
大体上,近几年的文章可以分为两大类:
一、利用深度学习网络估计两幅图像的相似性度量,驱动迭代优化;
二、直接利用深度回归网络预测转换参数。
前者仅依赖深度学习进行相似性度量,在优化阶段仍需依赖传统配准方法进行迭代优化,并未能充分释放深度学习的优势;该方法耗时较长且难以实现实时配准效果。因此,在研究与讨论方面应集中于后者这一特定类型的方法。
基于有监督学习,获取标签有两种方式:
一、利用传统的经典配准方法进行配准,得到的变形场作为标签;
采用形变生成器对原始图像进行模拟变形,在实验过程中将其视为静止不动的基准图象,并将运动图象被视为正在发生形变的对象;同时通过建立形变场模型来标记这一过程。
基于非监督学习的方法实现配准,在线性代数框架下将配准操作施加于网络系统中生成相应的形变矩阵参数。随后针对运动物体的影像数据执行变形插值运算即可获得对应的配准结果。同样地,在三维空间中将三维数据作为输入提供给网络系统通过计算其形变向量场(dx, dy, dz)进而完成目标影像的空间变换与校正
noticed a trend that research has been gradually shifting from partially relying on deep learning (such as using the outcomes from deep learning networks to inform traditional optimization strategies) to fully relying on deep learning (such as non-supervised learning-based registration methods, where deep learning networks directly acquire the registered images). In terms of registration tasks, deep learning has become an increasingly significant force with immense potential. The registration outcomes are comparable to or surpass those of traditional classical methods. If we can effectively address the issue of limited training data, we will be able to better leverage deep learning-based registration methods, achieving improved registration results with faster processing speeds.
就补充说明而言,在涉及深度学习技术的医学图像配准领域中,请补充说明以下内容:研究人员开发了一种新型机器学习算法,在Voxelmorph框架下通过创新的学习机制实现了比传统方法快1000倍的速度。该算法不仅用于大脑扫描成像,在处理其他类型的3D图像时同样表现出色。
在当下阶段,医学图像配准仍是一个亟待解决的关键问题(无论采用何种方法)。然而,在这一领域中缺乏统一的标准体系,并未能提供充足的参考数据集。因此这一挑战仍将持续存在且难度巨大。
鉴于时间限制,请直接转向本论文的第五个‘讨论’部分
此外, 尽管许多医学图像分析问题可被简化为分类问题, 但这并非最优方案, 许多优质的结果需依赖非深度学习的传统方法进行后处理处理。
而在2017年前, 随着AlexNet在ImageNet数据集上的成功应用, 出现了大量基于有监督学习的深度方法用于医学图像处理工作。然而, 无监督学习将成为未来的主要方向。
无监督学习的主要优势在于无需大量精确标注的数据支持, 此外它模仿了人类的学习机制, 使得我们无需专门标注即可完成所需任务。仅凭少量监督信息即可高效解决大规模分类问题。当前主流的方法包括自编码变分自注意力模型(VAE)和对抗神经网络生成器(GAN)等技术体系。与基于精确标注的医学图像相比, 自然标注的数据更容易获取, 而无监督学习则能在此领域发挥显著优势。
最后,在传统机器学习算法中存在显著局限性的情况下(类似于传统黑箱模型),但在医学图像处理中对模型的可解释性要求更为严格(这一技术在实际应用中面临诸多挑战)。为此,在这一领域仍需进行深入研究和探索(已有研究尝试将贝叶斯统计方法融入深度学习模型中以提升预测结果的可靠性)。
深度学习不仅对"医学图像分析"具有巨大的意义,并将在"医学图像"自身上产生深远的影响。
延伸阅读:
- 课程设置中的'深度学习'主题与'健康信息学'领域的发展动态相结合。本课程通过案例分析和实践操作的方式帮助学生掌握相关知识和技能。
 
该文章在2017年发布,在《A Survey on Deep Learning in Medical Image Analysis》论文的第1节第4段被推荐作为参考材料。
2. 【个人整理】图像配准综述
3. 基于深度学习的医学图像配准综述
该文章由Timmymm学长于平台于2018年发表,并对近两年来深度学习在医学图像配准领域的相关方法与进展进行了系统回顾。研究者主要根据所采用深度学习类型对其进行分类概述,并进一步从多个角度分析了相关问题的本质特征与应用前景。
注:本文已被作者授权引用。
