医学图像分类_深度学习与医学图像分析

医学图像分析是医学研究和临床诊断的重要工具，其核心任务包括图像分类、定位与检测、分割等。近年来，深度学习技术在医学图像分析中取得了显著进展，其通过自动学习深层特征，显著提升了对医学图像的分析能力。深度学习在医学图像分类、定位与检测、分割等领域展现出广泛的应用，例如在核磁共振成像、计算机断层扫描、X射线图像、超声成像、PET图像、病理图像等领域的研究中，深度学习方法如卷积神经网络（CNN）、长短期记忆网络（LSTM）等被广泛采用。然而，医学图像分析仍面临数据量大、样本不平衡、空间分辨率等问题的挑战。未来，随着高性能计算技术的发展和医学图像数据库的完善，深度学习在医学图像分析中的应用前景将更加广阔。

关注微信公众号：人工智能前沿讲习
重磅干货，第一时间送达

摘要

随着医学成像技术和计算机技术的快速发展，医学图像分析已成为医学研究、临床疾病诊断和治疗中不可或缺的重要工具和技术手段。近年来，深度学习（Deep learning, DL），尤其是深度卷积神经网络（Convolutional neural networks, CNNs）已迅速发展成为医学图像分析的研究热点，已迅速发展成为医学图像分析研究的前沿领域。该方法能够从医学图像大数据中自动提取隐含的疾病诊断特征。本文首先阐述医学图像分析的特点；其次，论述深度学习的基本原理，介绍主要用于医学图像分析的主要深度学习技术；然后分别论述深度学习在医学图像分类、检测、分割、配准、检索、图像生成和增强等各领域的国内外研究现状；最后，讨论归纳医学图像分析深度学习方法未来要面临的挑战和应对的策略。

1、介绍

在医学图像领域，医生或研究人员在对某种特定的内部组织器官进行定量分析、实时监控和治疗规划时，为了确保做出准确的治疗决策，通常需要深入了解该组织器官的详细信息。因此，生物医学影像已成为疾病诊断和治疗中不可或缺的重要组成部分，其重要性日益凸显。

磁共振成像（Magnetic resonance image, MRI）、正电子发射断层扫描（Positron emission tomography, PET）、计算机断层扫描（Computer tomography, CT）、锥形束CT、3D超声成像等医学影像技术，已在临床检查、诊断、治疗与决策等多方面得到了广泛应用。为了充分利用人工智能深度学习方法分析处理这些海量的医学图像大数据，以科学化的方式为临床医学中的各种重大疾病筛查、诊断、疗效评估提供有效手段，目前医学图像分析领域仍面临一个亟待解决的重大科学问题和前沿技术挑战。

医学图像分析最初主要采用边缘检测、纹理特征、形态学滤波以及形状模型构建和模板匹配等方法。这类分析方法通常针对特定任务而设计，被称为手工定制化方法。然而，深度学习是以数据驱动的方式分析任务，能够通过从大规模数据集中自动学习相关模型特征和数据特性，从而实现对医学图像特征的自动生成。与基于任务的显式手工设计模型不同，深度学习方法能够直接从样本数据中隐式地学习医学图像特征，其学习过程本质上是一个优化问题的求解过程。通过模型从训练数据中选择最优特征，使其在处理新数据时能够做出准确决策。因此，深度学习在医学图像分析中发挥着至关重要的作用。

2、医学图像分析的特点

医学图像分析在多个领域中得到广泛应用，包括良恶性肿瘤、脑功能与精神障碍、心脑血管疾病等重大疾病的临床辅助筛查、诊断、分级、治疗决策与引导、疗效评估等方面。在这些应用领域中，医学图像的分类识别、定位检测以及组织器官和病灶的分割分析构成了当前医学图像分析深度学习的主要研究方向。尽管不同成像原理的医学图像分析与计算机视觉中的自然图像分析存在显著差异，但目前的研究主要集中在MRI、CT、X射线、超声、PET、病理光学显微镜等不同成像技术的医学图像分析任务上。基于此，本节将对这些医学图像的分析方法进行简要介绍。

2.1 常见的医学图像

MRI图像： 磁共振成像技术（MRI）是一种通过测量氢原子核在强磁场作用下的磁共振信号大小来获取人体组织器官和病灶信息的成像方法。通过体外核磁共振信号探测器接收的数据进行三维图像重建，MRI能够提供高清晰度的人体软组织解剖结构和病灶影像，具有显著的临床应用价值。

CT图像： 计算机断层扫描（CT）利用精确准直的X射线束对某一厚度的断面进行照射扫描，探测器接收透射该断面的X射线信号，通过计算机重建相应断面的三维图像。CT成像具有亚毫米级的空间分辨率，能够清晰显示人体骨性组织的解剖结构和病灶，广泛应用于多种临床疾病诊断和治疗辅助。

X射线图像： 电子密度X射线图像是一种反映人体不同组织器官和病灶电子密度分布的成像技术。基于X射线的成像方法包括二维计算机放射成像、数字化X射线摄影术、数字减影血管造影术、乳房X线摄影术等，这些技术在骨科、肺部、乳腺和心血管疾病检测中具有重要应用。然而，常规的二维X射线图像无法提供人体组织器官和病灶的三维立体信息。

超声成像： 利用超声波束扫描人体，通过接收和处理反射信号，获得体内器官的二维图像。近年来，超声成像技术不断进步，出现了三维超声（3D Ultrasound）、超声全息摄影、体腔内超声成像、彩色多普勒超声和超声生物显微镜等新型成像技术，极大地扩展了超声在临床诊断中的应用范围。

PET图像： 正电子发射断层扫描（PET）通过测量F18等放射性元素标记的示踪剂衰变时发射的正电子信息，形成示踪剂的放射性活度度量图像。PET图像能够提供肿瘤生物学特性（如葡萄糖代谢、供氧状态、增殖特征等）的信息，并通过标准摄入值的设定帮助临床判别肿瘤的良恶性。该技术在肿瘤诊断和治疗监测中具有重要价值。

病理图像： 是指通过切取病变组织并采用苏木精和曙红（H&E）等染色方法制作病理玻片，利用显微镜成像技术对切片中的细胞和腺体进行高分辨率成像。通过对病理图像的分析，可以深入探讨病变的形成机制、发病过程以及病变的进展规律，从而辅助进行准确的病理诊断。

目前，临床医学图像分析深度学习研究对象主要可分为上述6类医学图像。

2.2 主要的医学图像分析任务

医学图像分类与识别

医学图像定位与检测

医学图像分割任务是通过识别感兴趣区域的体素和轮廓来实现的。在临床手术图像导航和图像引导肿瘤放疗中，它是不可或缺的关键技术。

3、深度学习方法概述

机器学习算法通常分为有监督学习算法和无监督学习算法。在有监督学习算法中，不仅将训练数据输入给计算机，同时还将数据的标签一并作为输入传递给计算机。通过学习过程，计算机能够对新输入的数据进行分析和预测，并推断出数据所属类别的概率，最终输出一个最接近正确的分类结果。由于有监督学习过程中不仅有训练数据，还有对应的标签作为监督信号，因此能够显著提高学习效果。与之相比，无监督学习的输入数据仅有原始数据，而没有标签信息，因此计算机无法直接识别数据的类别归属。然而，凭借强大的计算能力，无监督学习算法能够识别数据的内在结构，通常会输出一些数据集合，这些集合中的数据在某些特征上具有相似性或一致性。

3.1 神经网络

• 神经网络是一门重要的机器学习技术，在机器学习和认知领域。是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗的讲就是具备学习功能。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分：
• 结构（Architecture）： 结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。
• 激励函数（Activity Rule）： 大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。
• 学习规则（Learning Rule）： 学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。
• 通常一个简单的神经网络包含3部分：输入层、隐含层和输出层。一般输入层和输出层的节点是固定的，隐含层可以自由指定，图1是一个简单的神经网络结构示意图，图中的圆圈代表神经元，箭头代表数据的流向，每根连线上面都对应一个不同的权重，权重是网络通过学习自己得到的。

图1 神经网络结构图

每个神经元由输入、输出和计算功能三个组成部分构成。其中，计算是神经元对其输入进行计算功能。存储则是神经元暂存计算结果并传递到下一层。如图2所示，一个典型的神经元模型包含3个输入端、1个输出端和1个计算功能模块。

图2 神经元结构图

在神经网络中，a代表输入信号，w代表连接的权值。在信号传递过程中，中间环节会对信号进行加权处理。具体来说，输入信号a传递到中间环节时，会经过加权系数w的作用，转换为a_w。这种加权后的信号在传递到下一个环节时，其大小即为a_w。在神经元节点处，会对所有输入的加权信号进行求和，并通过激活函数f进行处理，最终得到输出结果Z。数学表达式如下：

通常情况下，为了提高神经元的性能，输入数据经过加权处理后会附加一个偏置项b，此时Z的计算公式如下：Z = X \cdot W + b。

在神经网络中，函数f被称为激活函数。常用的激活函数包括sigmoid函数、tanh函数和ReLU函数等。

3.2 神经网络框架

1.深度神经网络（DNN）

DNN是一种深度的全连接神经网络，其深度参数直接影响网络对数据的表征能力：通过每层更少的神经元来拟合更为复杂的函数。2006年，Hinton提出预训练方法有效缓解了局部最优解问题，将隐含层提升至7层，从而开启了深度学习的先河。需要注意的是，这里的"深度"并无统一定义，在语音识别领域，4层即可被视为较深的结构；而在图像识别领域，20层的模型则更为常见。2016年，highway网络及深度残差学习（deep residual learning）成功抑制了梯度消失现象，实现了超过100层的网络结构。卷积神经网络（CNN）

卷积神经网络改变了传统神经网络的结构，不再是全连接的架构，从而大幅减少了网络参数数量；同时，引入了参数共享机制，进一步降低了网络参数规模。该方法充分利用了空间结构和局部特征，特别适用于图像处理任务。目前，CNN在医学图像分析领域应用最为广泛。例如，在医学图像分割任务中，CNN可以通过对特定像素及其周围区域的特征进行提取和分类，实现对图像中每个像素的精确识别。

3.循环神经网络（RNN）

鉴于深度学习在各类型任务中展现出的广泛适用性，它已吸引了包括技术专家、投资者以及非专业人员在内的众多关注者。尽管其最著名的应用是基于前馈卷积神经网络实现计算机视觉任务，但其在时间序列分析方面的研究亦已引起部分公众兴趣。在传统的全连接网络或卷积神经网络（CNN）中，神经元信号仅单向传递，各时间点的样本处理互不影响，因此通常被归类为前馈神经网络。然而，在循环神经网络（RNN）架构中，神经元的输出信号不仅传递给下一时间步，自身在前一时间步的输出也会直接参与当前计算，即第i层神经元在时间步m的输入不仅包含i-1层在该时间步的输出，还融合了自身在m-1时间步的输出信息。基于此发展而来的长短时记忆网络模型，如长短期记忆单元（LSTM），在序列数据处理中展现出卓越的性能。
4. 深度置信网络（DBN）

深度置信网络（DBN）是一种由多层隐单元构成的概率生成模型，可以被视为多个简单学习模型组合而成的复合模型。它不仅能够作为深度神经网络的预训练组件，通过反向传播或其他优化算法进行微调，从而进一步提升网络性能。在实际应用中，深度置信网络通常与其他类型的神经网络结构相结合，以达到更好的分类效果。

虽然对深度学习的各种方法进行分类是可以的，但广义上来说，神经网络（NN）或深度神经网络（DNN）涵盖了各种变种方法。在实际应用中，这些方法往往需要结合使用，以达到最佳的性能效果。

4、深度学习在医学图像中应的用

4.1 医学图像分类

• 医学图像分类可以分为图像筛查和目标或病灶分类。图像筛查是深度学习在医学图像分析领域中的最早应用之一, 是指将一个或多个检查图像作为输入, 通过训练好的模型对其预测, 输出一个表示是否患某种疾病或严重程度分级的诊断变量。图像筛查属于图像级分类，用来解决此任务的深度学习模型最初关注于 SAE、 DBN 及 DBM 网络和非监督预训练方法。研究主要集中在神经影像的分析上，如通过神经影像诊断是否患有老年痴呆症 (Alzheimer0s disease, AD) 或轻度认识功能障碍(Mild cognitive impairment, MCI)[90−92]。这些算法通常利用多模态图像作为输入，提取MRI、PET等模态中的互补特征信息。目前, CNN 正逐渐成为图像筛查分类中的标准技术,其应用非常广泛。如 Arevalo 等提出了乳腺癌诊断的特征学习框架, 采用CNN自动学习区分性特征，对乳房X线照片病变分类[3]。Kooi等比较了传统CAD中手动设计和自动CNN特征提取方法,两者都在约4.5万乳房X线图像的大数据集上训练,结果显示 CNN 在低灵敏度下优于传统CAD系统方法,且在高灵敏度下两者相当[4]。Spampinato等应用深度 CNN 自动评估骨骼骨龄[5]。另外,还有一些工作将CNN与RNN结合起来，如Gao等利用CNN 提取裂隙灯图像中的低层局部特征信息,结合RNN进一步提取高层特征，对核性白内障进行分级[6]。
• 目标或病灶的分类可以辅助医生对疾病进行诊断，如对乳腺病灶进行良恶性分类。其处理过程通常首先通过预处理方法识别或标记出的特定区域,然后再对特定区域进行目标或病灶分类。精确的分类不仅需要病灶外表的局部信息,而且还需结合其位置的全局上下文信息。CNN在目标或病灶的分类中也应用的非常广泛。Kawahara等采用多处理流CNN对皮肤病灶分类,其中每个流程处理不同分辨率的图像[7]。Jiao等利用CNN提取不同层次的深度特征,提高了乳腺癌的分类准确率[8]。Tajbakhsh 等就 CT 图像中检测肺结节且区分良性和恶性肺结节的任务,比较了大规模训练人工神经网络(Massive-training artificial neuralnetworks, MTANNs) 与 CNN 这两种端到端训练的人工神经网络的性能,其实验结果表明,只有使用较少训练数据时,MTANN的性能明显高于 CNN[9]。

4.2 医学图像定位与检测

在医学图像中精确识别特定生物标记或解剖结构对临床治疗具有重要意义，直接影响治疗效果的优劣。医学图像处理中，3D体素信息的分析是关键。为了利用经典深度学习算法处理3D数据，一些方法将3D空间分解为多个正交面的组合，从而将定位任务转化为分类任务，通过通用深度学习框架进行处理。例如，Yang等研究者结合三个正交方向的卷积神经网络（CNN）信息，识别股骨末端的标记，标记的3D位置定义为三个二维图块的交点[10]。Vos等则将3D CT体积解析为二维形式，识别目标3D矩形包围盒，从而定位到心脏、主动脉弧和下降主动脉等解剖区域[11]。

4.3 医学图像分割

医学图像分割的任务通常被定义为识别感兴趣对象的轮廓或内部体素集合，它是深度学习在医学图像分析领域应用最为集中的研究方向之一。在医学图像中，器官及其亚结构的分割能够定量分析心脏心室体积、收缩射出率等临床参数，这些参数对于评估心血管疾病具有重要意义。在智能调强放疗技术应用中，器官勾画作为放疗计划制定的关键环节之一，深度学习方法在此领域具有广泛的应用前景，主要应用于组织病理学图像和显微镜图像分割、脑组织结构分割以及心脏心室分割等领域。

通过计算机分割来自手术和活检组织标本的图像特征，有助于预测疾病侵袭程度，从而辅助疾病诊断和分级。这些预测工具的关键组成部分是从组织病理图像中提取的图像特征。目前，绝大多数组织病理学图像和显微镜图像分割方法均基于卷积神经网络（CNN）框架。许多研究者通过块级训练网络，取得了令人满意的分割效果。Ciresan等先驱性地将深度CNN应用于医学图像分割任务，他们采用滑动窗口方法在电子显微镜图像中提取生物神经膜[14]。Kumar等则基于块级CNN对H&E染色的病理图像进行细胞核分割[15]。

脑组织的体积和形态特征与多种脑部神经疾病密切相关，包括抑郁症、阿耳茨海默氏病、精神分裂症和躁郁症等。因此，通过计算机技术对脑组织结构的解剖结构进行研究，在医学研究、临床诊断和治疗方面具有重要意义。例如，Zhang 等将 T1、T2和FA (Fractional anisotropy) 三种模态图像作为输入，采用深度CNN网络解决婴儿GM、WM和CSF分割这一具有挑战性的任务，从而评估婴儿脑发育的优劣程度[16]。

5、总结

• 综上所述,深度学习具有自动地从数据中学习深层次、更具鉴别性特征的能力，已应用于医学图像分析的多个研究领域，并取得了突破性进展。我们注意到,在大多数文献中，使用深度学习相关方法展示了其领先水平的性能，这已由医学图像分析的若干计算挑战赛结果证明；其次，云计算和多 GPU高性能并行计算技术的发展，使得深度学习从海量的医学图像大数据中学习深层特征成为可能； 最后，可公开访问的相关医学图像数据库的出现及多个医学图像分割挑战赛数据集，使得基于深度学习的分割算法能够得到有效验证。
• 我们相信，通过深度学习算法的不断改进，借助高性能并行计算技术的发展和日益改善的医学图像质量与不断增长的医学图像标记样本集，基于深度学习的医学图像分析将大有所为。

参考文献

[1]Zhang Lei, Zhang Yi. Big data analysis using infinite deep neural networks. Journal of Computer Research and Development, 2016, 53(1): 68−79.

A comprehensive review on deep learning in medical image analysis was conducted by Litjens et al. in 2017, which was published in the journal Medical Image Analysis, volume 42, issue 9, covering pages 60 to 88.

[3]Arevalo J, Gonz´alez F. A., Ramos-Pollán R, Oliveira J. L., Lopez M. A. G. et al. Representation learning for mammographic masses classification using convolutional neural networks. Computer Methods and Programs in Biomedicine, 2016, 127: 248−257.

[4]Kooi T, Litjens G, van Ginneken B, Gubern-Mérida A, Sánchez C I, Mann R, den Heeten A, Karssemeijer N.通过大规模深度学习实现乳腺图像辅助诊断系统的构建。Medical Image Analysis, 2017, 35:303−312.

Deep learning techniques are employed for the automated assessment of skeletal bone age in X-ray images, providing a robust framework for medical image analysis. This study was published in the journal Medical Image Analysis, volume 36, pages 41-51 in 2016.

Gao X T, Lin S, Wong T Y. Automatic feature extraction for the grading of nuclear cataracts based on deep learning techniques. IEEE Transactions on Biomedical Engineering, 2015, 62(11):2693-2701.

[7]Kawahara J, Hamarneh G. Multi-scale tract CNN utilizing hybrid pretrained layers and skin lesion-specific layers. Proceedings of the International Workshop on Machine Learning in Medical Imaging, held in Athens, Greece by Springer in 2016, pp.164-171.

[8]Jiao Z C, Gao X B, Wang Y, Li J. A deep features-based system for breast mass classification and characterization. Neurocomputing, 2016, 197: 221−231.

[9]Tajbakhsh N, Suzuki K. An analysis of two categories of fully connected machine learning models in lung nodule detection and classification: MTANNs versus CNNs, as presented in Pattern Recognition, 2016, volume 63, pages 476–486.

[10]Yang D, Zhang S T, Yan Z N, Tan C W, Li K, Metaxas D. Automatic lower femur anatomical landmark localization on the distal surface through convolutional neural networks. In: Proceedings of the 12th International Symposium on Biomedical Imaging. New York, NY, USA: IEEE, 2015. 17−21.

[11]de Vos B D, Wolterink J M, de Jong P A, Viergever MA, Iˇsgum I. Two-dimensional image classification aimed at the localization of three-dimensional anatomical structures: utilizing deep convolutional neural networks.In: Proceedings of the 9784, Medical Imaging 2016: ImageProcessing. San Diego, California, US: SPIE, 2016, 9784:Article No. 97841Y.

Chen H et al. Achieved automated identification of cerebral microbleeds using a deep learning-based 3D feature representation. In: Proceedings of the 12th International Symposium on Biomedical Imaging (ISBI). New York, NY, USA: IEEE, 2015. 764−767.

[13]Shin H C, Orton M R, Collins D J, Doran S J, Leach M O. Stacked autoencoders for unsupervised feature learning and multiple organ detection in a pilot study using 4D patient data. IEEE Transactions on Pattern Analysisand Machine Intelligence, 2013, 35(8): 1930−1943.

[14]Ciresan D C, Giusti A, Gambardella L M, Schmidhuber J.通过深度神经网络实现电子显微镜图像中神经元膜的分割。In:Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada, Curran Associates Inc., 2012. 2843–2851.

Kumar et al. introduced a comprehensive dataset coupled with an innovative segmentation technique to achieve generalized nuclear segmentation in the field of computational pathology. IEEE Transactions on Medical Imaging, 2017, 36(7): 1550−1560.

Zhang W L, Li R J, Deng H T, Wang L, Lin W L, Ji S W, Shen D G. Deep convolutional neural network models applied to multi-modal isointense infant brain image segmentation. NeuroImage, 2015, 108: 214−224.

[17]Carneiro G, Nascimento J C, Freitas A. The segmentation of the left ventricle of the heart from ultrasound data was achieved through the application of deep learning architectures and derivative-based search methods. IEEE Transactions on Image Processing, 2012,21(3): 968−982.

An integrated deep-learning and deformable-model strategy was employed to achieve fully automatic segmentation of the left ventricle in cardiac MRI studies.