基于卷积神经网络的乳腺超声病变自动检测(IEEE Journal of Biomedical and Health Informatics)

Automatic lesion detection in breast ultrasound has been widely employed as a diagnostic tool for early cancer identification. To achieve accurate and efficient lesion identification in mammographic imaging, convolutional neural networks (CNNs) have been successfully implemented as a robust pattern recognition system.

摘要：

索引词： 乳腺癌；卷积神经网络；病变检测；迁移学习；超声成像

一、引言

乳腺癌是全球女性死亡的主要原因之一，预计超过8%的女性在一生中会患乳腺癌[1]。最常用和有效的乳腺癌检测技术是数字乳腺摄影(DM) [2]。然而，密集乳房中的DM成像有一些限制，其中病变与密集组织相比具有相似的衰减，因此它们可以被周围组织隐藏。目前，DM的一个重要替代方法是超声成像，由于其多功能性、安全性和高灵敏度，超声成像被用作乳腺癌检测的补充方法[3]。然而，超声成像比其他常用技术，如乳房x线照相术，更依赖于放射科医师。由于斑点噪声的复杂性和存在，解释超声图像需要有经验和训练有素的放射科医生。因此，计算机辅助诊断(CAD)能够有利于在基于超声的乳腺癌检测上帮助放射科医生，最大限度地减少超声成像的操作员依赖性的影响。不同的研究调查了CAD对诊断的影响[4]，[5]，并表明CAD是提高诊断敏感性和特异性的重要工具。任何CAD的第一个挑战是定位病变的能力。这一过程应该是自动化的，以帮助放射科医师有效地做出诊断，并期望高灵敏度和特异性。

乳腺研究领域尚未建立统一的数据基准库,从而限制了对算法性能进行公正评估的有效性。由于超声图像的质量受采集过程显著影响,并且不同超声设备之间呈现明显差异,这可能导致基于算法处理所得结果的实际可靠性受到影响。病灶形态特征、位置信息以及大小参数的变化也会对结果产生影响

在本文综述中探讨了四种广泛应用于肿瘤检测的方法[6]-[9]。我们推荐采用深度学习技术来实现乳腺超声病变的自动检测，并对三种不同的方法进行了深入探讨:基于图像块（Patch）的LeNet架构、改进型U-Net模型以及结合预处理步骤的迁移学习框架。随后，在乳腺超声图像数据库A与数据库B上对比评估了深度学习算法与当前最先进算法的表现效果，并将数据集B作为目标研究的数据源使用以验证该方法的有效性。到目前为止仍是我们首次在两个典型的数据集中系统性地开展这种方法的大规模性能对比工作，并提出了一种新型的基于深度学习的乳腺超声病变检测方案。

二、相关工作

在乳腺超声成像领域中病变检测方面本节重点介绍了四种前沿技术。在所选的方法中包含了两种具有重要影响力的滤波技术：径向梯度指数(RGI)滤波[6]以及多重分形滤波[7]。此外，在这项研究中还引入了两种最新的算法：基于规则的区域排序法以及可变形组件模型法。

E. 乳腺成像的深度学习

总体而言，在当前的研究领域中，并非所有的最先进的一些方法都能达到令人满意的稳定性表现。特别是那些依赖于图像处理技术的方法，在缺乏对某些关键参数的有效约束时往往表现出较差的性能表现。然而，在无需如此强的假设前提下，在目标检测领域展现出卓越的准确性，则表明该技术体系同样可以在乳腺超声成像任务中发挥出色的效果。此外，在医学成像领域内的主要深度学习模型都采用了卷积神经网络CNN作为主要工具来进行建模工作，并根据其训练机制的不同将模型大致划分为以下几类:

该卷积神经网络基于图像块（patch）构建。该方法通过将图像划分为块来训练卷积神经网络模型，并采用滑动窗口测试技术用于验证该方法[20][21].然而，在输入过程中处理单个图像块的时间较长，并且这些重叠会导致大量的冗余计算[22].

基于全卷积的技术旨在减少计算冗余。Long团队[23]开发了一种基于全卷积的技术,通过整体图像的数据训练以提升效率,该技术采用直接预测像素边界的方式取代传统的基于分类的概率分布模型,从而实现了更加精确的分割效果。这一策略的一个具体实现即为U-Net [22]模型。

基于迁移学习的方法。近年来，在生物医学领域中被广泛应用的一种替代方案是基于迁移学习的技术[24, 25]。这一技术通过采用非医学领域的预训练模型来解决医学图像分析中的数据稀缺问题。

在乳腺成像领域中 majority of existing publications focus on applying convolutional neural networks (CNNs) for breast X-ray imaging (such as mammography). Dhungel et al.[26] successfully implemented a deep learning-based approach for tumor segmentation; Mordang et al.[27] proposed the application of CNNs in detecting microcalcifications; recent studies by Ahnet et al.[28] have explored CNN usage in breast density estimation. In the domain of breast ultrasound imaging, Huynh et al.[24] pioneered the use of transfer learning methods for supervised classification of ultrasound breast images. However, this is the sole work addressing breast ultrasound without lesion detection. In this paper, we propose a novel deep learning framework for automatic detection and diagnosis of breast lesions. To demonstrate the superiority of our approach, we conducted comprehensive performance comparisons with the four state-of-the-art lesion detection algorithms outlined in Section 2 (A-D).

三、数据集

A. 综述

这项研究采用了两个不同的超声图像数据集。这些数据集源自不同规格及不同时间的超声系统。它们分别以A和B命名。

本研究的数据集A于2001年源自乳腺影像专家的专业教学媒体文件库[16]。这些图像由B&K医疗的BlackBee 2002和Eagle 2102超声系统获取，并均配备了一个8至12 MHz的线性阵列换能器组件。该数据集包含了306幅来自不同临床情景下的图像样本，每个样本的平均尺寸为377×396像素。在病变图像中（占总病例数的比例），有60例呈现恶性肿块特征，在良性病变中则占总病例数的显著比例。其中，在恶性病变中被诊断为浸润性导管癌的病例有27例，在导管原位癌方面仅有4例报告。良性病变样本主要分为囊性和腺瘤性两类：复杂囊肿类占74例，单纯性囊肿类有89例。此外还包含55例纤维腺瘤和若干其他良性病变样本。为了获取本研究的数据集A, 研究者需联系Praveesis团队获取相关专业教学媒体文件[16]

该研究数据集B源自西班牙萨巴德尔地区的帕尔托公司UDIA诊断中心于2012年采集。采用西门子ACUSON红杉C512系统17L5型高清线性阵列换能器（8.5MHz）进行成像操作。该数据集包含来自不同女性共计163幅图像样本（平均尺寸为760 × 570像素），其中每幅图像均显示有至少一个病变部位。在病变样本中总计发现53例癌性肿块图像和110例良性的病变图像；对于恶性影像样本进一步细分为浸润性导管癌40例、导管原位癌4例、浸润性小叶癌2例以及其他类型恶性病变病例共计7例；而对于良性影像样本则包括65个非典型囊肿、39个纤维腺瘤以及6个其他类型的良性病变样本。需要注意的是，在这两个研究数据集中所有的病变部位均为经由经验丰富的乳腺放射科医生进行详细勾画与标注。这些乳腺病变样本的相关注解资料可通过链接goo.gl/SJmoti下载获取（用于研究目的）。

B. 比较

图1展示了来自两个数据集A和B各组的三幅典型图像，用于体现三个关键特征：斑点噪声、图像质量和病变外观。就斑点噪声而言，在使用超声采集系统处理的数据集中A中发现该伪影现象明显存在，在未采用超声采集系统的数据集中B中则不那么显著。值得注意的是，在数据集中A和B中所使用的超声设备的分辨率水平也存在差异。具体来说，在使用较新超声设备采集生成的数据集中B中获得更高分辨率（如图1(b)所示），因此在该数据集中所定义的关键结构（如肋骨、胸肌或实质组织）呈现出更加清晰的表现。相比之下，在使用较老超声设备采集生成的数据集中A中所观察到的组织外观则相对模糊一些。尽管如此，在经过详细分析后发现，在数据集中B中组织形态特征的表现要优于在其他条件下获取的数据

为了更深入地评估数据集的表现, 我们系统性地比较了多个关键指标: 病灶大小、病灶面积与图像面积的比例关系以及图像中心与病灶质心的距离. 通过箱线图的形式展示了这些比较结果, 如图2所示. 数据显示, 在数据集A中平均病灶尺寸略低于数据集B（如图2(a)所示）, 但在测试精度方面, 数据集A却表现出显著的优势（如图2(b)所示）. 同时, 数据集A中的病变分布更为集中（如图2(c)所示）. 然而, 这些差异在统计学上并不具有显著性意义. 需要指出的是, 在病变检测过程中, 除了上述因素外, 图像质量等其他特征也可能对检测效果产生显著影响

四、方法学

A. 卷积神经网络

该方法被称为深度学习体系[29]。该体系能够自动生成适用于特定任务的学习表达。其特点在于针对不同任务而定制设计。每个神经网络通常由多个层次构成，在此过程中会产生分层次的学习特征。这些层导致学习过程中使用的分层特征[29]、 [31].

卷积神经网络(CNNs)作为一种核心技术，在图像分析领域已获得广泛的应用与认可。

基于卷积神经网络(CNNs)架构的研究表明，在图像处理任务中表现尤为突出[32]。其中卷积层的主要作用是从输入图像中提取多尺度的空间特征信息[29]；而池化层则通过将相邻像素进行融合处理，在降低计算复杂度的同时实现了对平移操作的高度鲁棒性[36]。这种分层次的神经网络结构不仅能够有效捕获图像的不同层次细节特征[31]，而且其整体性能表现主要取决于各层的设计方案以及训练策略的选择。

Caffe框架[30]中一些著名的CNN模型包括LeNet[31]、AlexNet[37]和GoogleNet[38]。我们在乳腺病变检测领域探讨了三种不同的深度学习方法：其中一种是基于块结构结合LeNet[31]和U-Net[22]的方法，另一种则是采用全卷积网络进行迁移学习的研究[23]。

1) Patch-based LeNet: 基于超声乳腺图像数据集的特点，在灰度图像背景下乳腺病变尺寸较小的情况下，采用LeNet [31]这一经典的分类网络架构来解决两类分类问题（病变与非病变）。从包含不规则乳腺病变和正常组织图像区域中提取出的二维区域（大小为28×28）作为训练与验证数据输入。这些二维区域（大小为28×28）与LeNet的设计需求高度契合。其架构极为简洁，在数字分类领域最初是由LeNet [31]提出的。通过CNNs能够识别这些梯度变化特征。整体网络架构如图3所示，在卷积层和池化层的基础上进行了两轮特征提取，在两个全连接层之后生成两个神经元输出：分别对应病变与非病变两类结果。最后部分通过类概率输出来测量模型参数对真实标签匹配的程度。为了评估模型预测效果，在softmax分类器的基础上采用了多项式逻辑损失函数计算损失值。

我们的网络输出旨在识别图像块中的病变与健康乳腺组织。该系统架构由一个包含两个全连接层的人工神经网络构成，并且每个层均配备了一个softmax函数用于分类任务定义

其中f_{j}表示类分数f中的第j个元素；设向量z由任意实数值构成，则经过归一化处理后得到一个取值范围在0到1之间的向量；并且它们的总和严格等于1。根据损失函数的设计，在训练过程中能够实现良好的预测性能；同时，在此过程中其损失被控制得非常小。

该全连接层包含一个整流线性单元（ReLU）模块。在Caffe框架[30]中, 该操作以元素级别执行的方式实现了就地计算策略, 在此过程中降低了内存消耗。该操作被详细定义为

其中函数将激活阈值设定为零。

在测试图像上，采用28×28像素大小的滑动窗口，并以步长1进行遍历，以识别病变块。经实验验证，在分割后的图像中剔除面积小于10像素且不连通的区域有助于降低假阳性率。将分割区域的中心点作为初始种子点标记。

2) U-Net: 基于全卷积网络[22]的技术发展而来，U-Net特别适用于处理生物医学成像领域的大量数据。其架构基于深度神经网络中的跳跃连接机制，并采用编码器-解码器的结构设计。该模型由Ronneberger等人[22]提出，并通过引入非刚性变形等数据增强技术来提升模型性能。从这些方面来看，在现有标注数据集的规模下应用U-Net有望取得令人满意的实验效果。

Transfer Learning: 迁移学习是一种方式，在这一框架下，训练模型以提取广泛领域的一般特征，并通过优化分类器来提升对特定领域细节的识别能力。在这种设置下，原始特征和网络参数被映射到目标领域。我们提出了一种基于语义分割改进版全卷积架构（FCN-AlexNet）[23]的方法。FCN-AlexNet是对AlexNet分类模型的改进版全卷积架构，在这一框架下，对卷积神经网络结构进行了优化以实现分割任务。该模型最初应用于ImageNet数据集上的1000个不同类别的物体分类任务[37]。

B. 性能指标

病状识别被视为计算机辅助设计的第一个阶段，在初始化分割算法时会采用确定病变位置作为种子点。在乳腺超声领域中，许多病变检测方法都以种子点定位作为评估标准来考量其算法性能。在临床实践中，放射科医生通常会通过四个标记点来定义矩形感兴趣区域范围——这四个关键点分别位于顶部、底部、左侧和右侧的位置基础之上构建了一个边界框框架。当分割区域中心落在临床划定的边界框内时，则判断为真阳性；若超出则视为假阳性。

在本文中，我们采用真阳性分数(TPF)以及每张图像的假阳性数量(FPs/image)，用于评估乳腺超声研究中病变检测技术的技术性能[6]-[8]:

该TPF（真阳性率）测定法表现出较高的敏感性。某些算法能在一次成像中识别多发疾病，在另一些情况下则只能识别单一疾病实例。这一指标提供了一种公平评估手段, 因为它考虑了被测出病灶数量与真实存在的病灶数量之间的比例关系。由此可知, 在面对多发病灶时若只能识别出一个病灶, 则其对应的TPF值将低于那些能够在多发病灶中识别出多个病灶的方法。

除了TPF以及FPs/图像外，F测度（其中召回率与精确度的加权调和平均值被用作评估指标）[39]的计算公式如上所述。

C. 实现

值得注意的是，在现有文献中,DPM [9]及多重分形滤波[7]的具体实施是由原始作者直接提供.而对于RGI滤波[4]及RBRR [8],则是严格按照其各自论文所述内容进行重新构建.

为了使前沿算法在数据集上达到最优效果并实现最佳性能目标, 我们定义了一系列关键参数. 基于规则框架的区域排名机制中，默认情况下中央窗口会在图像中端部上方部分初始化. 此外, 散斑减少各向异性扩散（SRAD）模型中，默认迭代时间t设定为50次. 在多重分形滤波[7]中，默认参数配置将cell尺寸序列设置为q=-1, \epsilon=3.

该研究采用了一个由每个根过滤器包含3个组件以及8个部件组成的混合模型来训练DPM方法[9]。这些参数的选择基于前一篇研究[40]中的评估。通过评估不同配置下的DPM参数设置，在乳腺超声图像数据集上取得了理想的效果。为了确保可靠的结果评估，在实验过程中将训练与测试流程配置为了10折交叉验证。值得注意的是，在提高评估精度的同时，该方法显著提升了计算资源的需求。

本研究提出了一种基于图像块的卷积神经网络（CNN）架构参考自LeNet[31]。乳腺超声图像通常呈现为单色灰度级矩阵，并被划分为28×28像素的小块区域。该网络采用均方根传播算法（RMSProp）进行训练优化，在设置学习率参数时采用了标准值为0.01的方法，并在每60个训练周期中启用Dropout技术以防止模型过拟合。实验采用了十折交叉验证策略来进行模型评估和性能调优

在本研究中，在U-Net架构的基础上开发了新的模块结构，并采用了深度卷积神经网络作为核心组件

五、结果与讨论

图5展示了乳腺病变检测的结果。其中第一行展示了来自数据集A的图像。(强度值与纹理特征)其外观清晰且具有明确的边界与正常组织特征。这种情况下所有检测方法都能准确识别病变区域。第二行显示了来自数据集B的一个病例其中病变的表现接近正常组织但位置靠近顶部边缘。基于该技术的方法能够实现精准诊断仅DPM与CNNs能够实现对这种异常情况的有效识别而其他方法则未能完成任务第三行描述了一个病例中出现复杂阴影的情况除本文提出的CNNs外没有其他先进算法能够有效识别此类异常情况最后第四行展示了一个病例由于病灶尺寸较小现有方法均未能对其做出准确判断

定量结果如表一所示。这些结果是根据真阳性率(TPF)、每幅图像的假阳性率(FPs/图像)和F-measure提供的。在单个数据集上进行训练和测试时，迁移学习FCN-AlexNet在病变检测方面优于其他方法，数据集A的TPF为0.98，FPs/image为0.16，F-measure为0.91；数据集B的TPF为0.92，FPs/image为0.17，F-measure为0.89。据观察，U-Net的性能低于基于块的LeNet(Patch-based). DPM在TPF取得了良好的结果，数据集A为0.80，数据集B为0.79，F-measure值与CNNs相当。深度学习方法和DPM实现了低FPs/图像。多重分形滤波[7]和RBRR [8]对于数据集A中的图像获得了良好的结果，TPF分别为0.76和0.75，但是对于数据集B中的图像却没有(TPF分别为0.59和0.60)。多重分形滤波的平均FPs/图像低于RBRR滤波。最后，RGI滤波[6]在两个数据集(0.76和0.72)中显示了良好的TPF性能，但是具有高的FPs/图像和差的F-测度。

主要采用图像处理的方法（包括RGI滤波器[6]、多重分形滤波器[7]以及基于规则划分区域排序法[8]）在处理来自两个不同来源的US系统图像时出现了不一致的现象，并且表现出了较低的准确率。这种现象的一个可能原因在于多数方法都考虑了各自数据集特有的属性，并将这些特点作为决策依据。然而，在另一个数据集中这些属性可能有所差异性变化（例如病变位置的变化、斑点噪声的存在或病变表象的不同），这可能导致算法性能下降。

数据集B是从现代超声系统中获得的，这给现有的病变检测技术带来了新的挑战。这些US系统获取高分辨率图像，其中可能包括肋骨、胸肌或肺部空气等其他结构，这使得病变检测更加困难。数据集A是从一个较旧的超声系统获得的。图像的性质通常具有较低的分辨率和较高的噪声水平。为了更好地可视化，放射科医师倾向于将可疑病变放置在图像的中心。如今，使用高质量的超声系统，这不再是必要的，因为一幅图像可以捕获乳房的更大区域。因此，当使用现代超声系统时，假设病变位于图像中心的方法在更多情况下会失败。

用于乳腺病变检测并取得显著效果的技术包括机器学习与深度学习

为探究深度学习方法在不同数据集上的鲁棒性特征，本研究将两个数据集（A+B）进行融合后进行实验。经过融合处理后呈现出356例良性病变病例与113例恶性病变病例。具体实验结果体现在表二的后三行部分。综合来看，在应用文中所提及的方法框架下，在表二中的最后三列展示了各指标的具体数值表现情况。其中，在数据集A上应用迁移学习FCN-AlexNet方法取得了最佳效果（TPF值达到0.99），FPs/图像值维持相对稳定（未发生改变），F-measure值达到了0.92。而在数据集B上，则由基于迁移学习的FCN-AlexNet模型实现了最佳TPF值（0.93）。然而整体上取得最优结果的是分块卷积神经网络LeNet架构（FPs/图像值降至0.09），其F-measure值同样维持较高水平（达到0.91）。这些实证分析表明，在监督式深度学习方法中，训练样本数量对模型性能提升具有重要影响作用。这对于许多深度学习应用而言是一个关键启示：即需要积累具有代表性的训练与测试样本集合才能实现较高的分类识别精度[43]。

我们研究了基于一个特定的数据集合构建模型并在另一个不同集合上评估其泛化能力的可能性。通过使用U-Net模型在数据集合B上完成参数优化后将其应用到作为验证集合的数据集合A上。实验结果显示该方法在集合A上的灵敏度（TPR）达到83%同时假阳性率（FP per image）控制在8%水平并且F测度（F-measure）达到87%。反之若将模型从集合A转移到集合B则性能显著下降灵敏度降至70%假阳性率上升至66%同时F测度减少到59%。这一发现表明仅基于单一领域构建的模型难以有效推广到其他领域从而限制了其实际应用价值。因此我们提出了一种将多个领域联合优化的新框架以提升模型的泛化性能

六、结论

本文系统探讨了三类深度学习模型(基于Patch的LeNet架构、U-网状结构以及迁移学习下的AlexNet设计)的具体应用，并重点分析了乳腺超声病变检测领域中具有代表性的病变检测技术。在两组数据集上分别针对TPF指标、FPs/图像比率以及F-measure等关键性能指标进行了系统性评估。

在本文探讨的各种方法中，基于迁移学习的FCN-AlexNet在数据集A上展现了最佳性能；而我们提出的方法——基于块级联结的LeNet，在数据集B上则在FPs/图像和F-测度方面取得了超越性的优势。DPM与深度学习方法虽具备通用性特点（因为它们均建立于机器学习框架下），但其局限性在于无法自动处理不同数据集特有的特征工程需求。因此，在当前研究阶段难以将这种方法推广至其他医学成像技术领域（如三维超声或弹性成像）。

作为计算机辅助设计系统的初始阶段，在这一工作中我们主要关注实现精准的特征提取技术以及提升算法效率。为此而言，在未来的工作中我们将着重优化模型性能并提升诊断准确性。我们计划将当前研究延伸至乳腺超声病变分割与分类领域，并对整个计算机辅助诊断框架进行全面评估。