基于迁移学习的多视图卷积神经网络在乳腺超声自动分类中的应用
The task involves developing a system for the categorization of breast cancer types within automated breast ultrasound analysis, employing multimodal convolutional neural networks combined with transfer learning techniques.
YI WANG,,1EUN JUNG CHOI,y,1YOUNHEE CHOI, HAO ZHANG,* GONG YONG JIN,yand SEOK-BUM KO*TAGGEDEND
- Department of Electrical and Computer Engineering, University of Saskatchewan, Saskatoon, Canada; andyDepartment of
Radiology, Research Institute of Clinical Medicine of Jeonbuk National University?Biomedical Research Institute of Jeonbuk
National University Hospital, Jeonbuk National University Medical School, Jeonju City, Jeollabuk-Do, South Korea
(Received 11 July 2019; revised 12 December 2019; in final from 2 January 2020)
https://doi.org/10.1016/j.ultrasmedbio.2020.01.001
目录
基于迁移学习的多视图卷积神经网络在乳腺超声自动分类中的应用
摘要:
介绍：
方法：
临床数据集
基于CNN的病灶特征提取与分类
多视图CNN
网络训练与评估
结果:
多视图CNN的分类性能
与传统机器学习特征提取器的比较
观察者性能测试
讨论
多视图CNN分析
与以往工作比较
观察者性能测试分析
结论
摘要:
为了促进放射科医生在自动乳腺超声(ABUS)成像中的乳腺癌分类能力提升，我们开发了一种基于卷积神经网络(CNN)的计算机辅助诊断系统。该系统能够将乳腺病变准确地区分为良性和恶性两类。本文所提出的改进型CNN架构旨在通过提取多模态特征来提高诊断准确性。由于ABUS成像可在横轴切面图与冠状切面图中呈现病变特征，在本研究中我们采用一种多视图特征提取方法以整合两种视角下的图像信息。为此，我们对包含135例恶性病变及181例良性病变共计316个乳房病变样本进行了系统性训练与验证工作。通过参考该模型预测结果后实施的人类观察者性能测试对比研究发现，在5位专家参与的测试中均获得了显著提升的结果（P<0.05）。具体而言，在AUC值方面相比传统的机器学习特征提取方案（PCA与HOG）提升了约2.4个百分点（P<0.05）。值得注意的是，在观察者性能测试中发现所有参与评估的人类专家在参考模型结果的基础上其AUC值均有明显上升（P<0.05），其中4位专家的表现得到了显著改善（P<0.05）。此外通过对多模态数据的学习分析表明本研究提出的改进型CNN架构具有较高的临床应用价值，并且可作为辅助诊断的重要补充手段来提高医疗决策的可信度
邮件地址为：seokbum.ko@usask.ca
卷积神经网络在多视图数据上的应用研究中提出了新的迁移学习框架以实现乳腺癌分类任务的优化自动乳腺超声检查系统设计基于改进型卷积神经网络模型
介绍：
乳腺癌是成为女性癌症 lethality的主要诱因（Siegel et al. 2019）。实现乳腺癌早期诊断和干预对于降低死亡率至关重要。乳房X线检查和超声设备（US）是 breast cancer的主要诊断手段。研究表明，在进行乳房X线检查之外，在手持超声设备的数据解析方面进行深入研究可显著提高对复杂组织结构 breast cancer的检出能力（Kolb et al. 2007; Brem et al. 2015; Thigpen et al. 2018）。
然而，在手持超声图像的可视化仅局限于一个特定方向(Brem et al. 2015; Thigpen et al. 2018)的情况下（即对手持超声图像的理解依仗操作人员的专业知识），为了削弱这种依仗关系并提高诊断效率，在本研究中我们开发了一种基于自动化的三维乳房超声成像系统(Active Breast Ultrasound System, ABUS)。该系统不仅实现了乳腺病变的位置定位（有助于早期乳腺癌诊断），还提供了冠状视图显示功能。在实际应用中虽然与传统手持超声相比具有更高的重复性和更快捷的操作流程（Shin et al., 2015），但在检测效率方面仍需较长的时间（Rella et al., 2018）。
作为一种辅助工具，在医学影像分析中作为第二审查员辅助放射科医生做出决策的研究已有报道（Wang et al. 2010; Marcomini et al. 2016; Van Zelst et al. 2017）。为了识别病变斑块的独特特征,CADx系统通常采用基于机器学习的特征提取模块。常用的特征提取方法包括：定向梯度直方图(HOG) (Moura and Guevara Lopez 2013)、局部二元模式(Iakovidis et al. 2008)以及主成分分析(PCA) (Huang et al. 2005)等技术手段。此外,形态学操作也可用于提取乳腺病变相关特征（Cheng et al. 2010; Tan et al. 2012）。在获得这些特征后,分类器被用于对它们进行分类处理,如支持向量机(SVM) (Tan et al. 2012; Huang et al. 2017b), k近邻(Ahmed Medjahed et al. 2013),logistic回归(Moon et al. 2011),以及线性判别分析(Rajaguru and Kumar Prabhakar 2017; Sadeghi- Nainiet al. 2017)等方法被广泛采用。然而,基于机器学习与形态学结合的特征提取方案往往需要执行多个人工干预步骤,因此选择最优特征组合的过程较为复杂,且每一个中间环节都需要经过大量实验才能获得令人信服的结果(Han et al. 2017; Chiang et al. 2019)
深度学习方法之一的卷积神经网络(convolutional neural network, CNN)在自然图像分类任务中取得了很好的效(Russakovsky et al. 2015)。CNN没有使用前面提到的特征提取器，没有设计显式的特征提取器，也没有在每个中间步骤调整中间结果，而是直接从输入数据中提取图像特征。近年来，CNN被有效应用于乳腺癌分类领域(Han et al. 2017; Byra 2018; Byra et al. 2018b)。特别是，在数据库规模有限的情况下，迁移学习对于基于CNN的CADx系统是一个很好的解决方案。通过迁移学习，由ImageNet等大型自然图像数据库(Russakovsky et al. 2015)明确训练的预训练模型被调优，用于解决医学成像领域的分类问题。Han et al.(2017)采用预训练的GoogLeNet (Szegedy et al. 2015)区分良恶性病变。使用预先训练好的VGG (Simonyan and Zisserman 2014)进行病变特征提取(Byra 2018)，然后采用Fisher鉴别分析对乳腺病变进行分类。Byra et al. (2018b)的工作中，使用inception-v3 (Szegedy et al. 2016)对乳腺US成像中的病灶进行分类。
近年来，在多视图卷积神经网络（CNN）的基础上取得了进展，并被应用于乳腺X线摄影中的乳腺病变分类（Geras et al. 2017）。在此研究方法中，在同一乳房病灶上采用不同的X线摄影图像（如头尾侧位和外侧斜位）进行呈现。为了获取更多的有用特征信息，在研究中采用了多个CNN模型分别从不同视角提取特征信息。在超声成像领域（Ultrasound imaging），Han et al. (2017)同样将多视角策略应用于CNN模型中进行研究工作。对于每个乳房病变区域内的病变斑块，在研究过程中采用了多尺度裁剪的方式进行处理。与单一尺度下的病变斑块相比，在实验结果表明通过融合不同尺度的病变斑块能够获得更好的分类效果。然而，在现有工作中仍存在一定的局限性：首先，在生成多视图下的病变斑块之前需要先确定病变区域的大小范围这一参数设置过程需要依赖人工干预；其次，在与Geras et al. (2017)的方法相比，在提取多尺度病变斑块的过程中可能存在一定的通用性不足的问题：即从不同尺度下提取的整体特征信息可能会带来冗余现象
在本文中提出了一种多视图卷积神经网络（CNN）用于分类乳腺病变中的恶性与良性肿瘤。该方法无需任何人工预处理步骤直接从病变斑块中提取特征。为了提供一个有效的特征提取方案本文所提出的方法从不同视角的ABUS图像中提取了更多的病变特征。基于我们的研究结果所提出的方法优于现有的机器学习方法和单视角模型此外还进行了观察者性能测试测试结果显示所提出的方法可作为第二评审者以改善人类评审者在乳腺癌分类中的诊断表现本文的主要贡献在于提出了这一创新性的解决方案并显著提升了分类性能
- 基于现有的研究记录显示, 首个在ABUS成像中实现乳腺癌分类任务的应用型CNN架构首次取得突破.
- 研究团队开发出一种新型多维度特征识别方案.
- 为了确保该创新架构的真实可靠性, 研究团队完成了系统性评估.
- 经过临床专家系统的性能测试证实了其有效性和可靠性.
方法：
临床数据集
本研究中的数据集于2012年3月至2018年3月间在全北国立大学医院（JNUH）收集。采用西门子医疗解决方案公司（美国加州山景城）生产的ACUSON S2000系统与15厘米宽线性阵列探测器的结合使用；该系统由经超过三年时间进行过ABVS操作的专业技术人员完成；依据乳房大小设定不同频率范围；每条扫描记录生成的数据量为约15.4 MB
16.8
最高体积为6厘米的数据块中薄厚均匀地切割了1毫米厚的切片。通过多平面重建技术将获得的数据转换成二维图像。我们从冠状面和横断面分别获取了每个乳腺病变患者的切片。在回顾性研究中所用的研究方案是经JNUH机构伦理委员会批准的标准知情同意书。
263例患者(年龄:28岁到76岁，平均年龄51.4
该研究共纳入了135例恶性病变和181例良性病变样本。所有病灶均采用显微镜观察法进行了详细的尺寸测量分析：平均病灶直径为13.23毫米（±4.29毫米）。通过表 1展示了不同尺寸病灶数量的具体分布情况。在病理学检测方面，所有病变均经手术或活检得到最终确认：对于每个良性病变样本均进行了两年以上的随访观察以确保其未发生任何变化：每个病灶的金标准检测采用边界框技术进行精确定位：而注释后验证工作则由具有丰富US成像经验的专业医师完成：边界框的大小设置依据病灶的实际尺寸自动调节：如 图 2所示：边界框的具体应用示意图则清晰地展示了不同切片中同一病变体征的表现差异性。为了进一步提高模型检测效果：本研究采用了多角度切片采集策略并从每个切片中提取了大量特征样本：例如 图 2所示的是在同一部位不同切片下可能出现的不同US表现形式：通过这一方法最终获得了743块标准化病变补片（冠状面与横断面分别为359块和384块）以及419块正常组织补片（冠状面与横断面分别为233块和186块）。
****
基于CNN的病灶特征提取与分类
基于Szegedy团队2015年提出的改进版Inception-v3（Szegedy et al. 2016）
5卷积被分解成两个3
3卷积。对于Inception B（ 图 3b ）, 7
7卷积被分解成两个核为1
7和7
1的非对称卷积。
通过分解手段降低了可训练参数的数量;同时,它从而降低了模型过拟合的可能性。基于图3c的设计理念，在Inception网络中采用了大小不一的多个卷积核以提升高维特征表达能力（Szegedy等人于2016年提出）。其中卷积核尺寸主要设置为1×1
1、1
3、3
1和3
3。
为了保留Inception-v3在从自然图像到ABUS图像中提取强大特征的能力，在医学图像分析领域已有广泛应用的迁移学习技术（Shin et al. 2016; Byra et al. 2018a; Xie et al. 2019）的基础上进行了改进。将CNN模型应用于ImageNet等大型数据库进行预训练后，在具体任务中能够有效地应用已掌握的知识。通过采用少量数据对预训练模型进行微调训练处理后得到的模型具有良好的泛化能力。在本研究案例中，在Inception-v3提出的FC层结构基础上重新设计了所有全连接层，并保留卷积模块作为病变特征提取的核心主干网络架构（见图4a）。该主干网络采用的是299像素的输入尺寸
299
3。主干的前几层由6个卷积层(kernel大小为3
3)和一个平均的池化层(kernel大小为3
- 该网络结构主要由三个主要模块构成：首先是五个Inception A模块、接着是四个Inception B模块以及最后两个Inception C模块的组合。主干部分生成了2048张大小一致的特征图，每个特征图的尺寸均为8x8像素。
在主干输出特征图顶部设置了全局平均池化层，在经过该处理后每个特征图被平均压缩为一个向量。值得注意的是通过全局平均池化转换后的特征能够对类别的解释更具鲁棒性(Lin et al. 2013)。随后引入三个全连接层将卷积产生的特征与分类器对接，在经过第一层和第二层全连接处理后施用了Dropout机制来缓解过拟合问题，并通过SoftMax函数将最后一层全连接层的输出进行归一化处理以获得各分类的概率值。针对病变斑块这一输入数据的新版本Inception-v3架构则采用了更为复杂的主干结构并增加了辅助路径以进一步提升模型性能。
多视图CNN
本研究对多视图CNN技术进行了系统性探讨，并参考 图 5 中展示的架构。以图5a为例，在该架构中从同一病灶分别切取两个病灶斑块区域，并通过拼接形成完整的二维切片影像数据集。随后将这些裁剪后的损伤斑块图像分别连接到不同的图像层中进行处理并构建多视角特征表示空间。在此过程中我们发现对于一个典型的乳腺癌病变体其在冠状面会产生一个典型CA斑块而在横切面上则会生成两个TA和TB特征区域。基于此我们构建了包含双重空间信息的三维特征组合体即(CA-TA, CA-TB)这样的二维结合形式并将其作为输入样本提供给改进后的Inception-v3网络模型进行分类训练工作。由于ABUS成像方法采用的是灰度重建技术因此每个三维特征组合体都需要同时编码横切面和冠状面的空间信息才能满足模型的需求为此我们在输入端引入了一个额外的空间通道即横切面得到的单个病灶斑块特征作为第三维度的数据源。在此基础上针对每一个二维结合体我们设计了三种不同的扩展模式以获取更高层次的空间特征最终形成了四种三维组合形式分别为(CA-TA-TA, CA-TA-TB, CA-TB-TA, CA-TB-TB)这些多样化的新特征组合体能够更好地反映病变体的空间分布规律并被用于后续网络训练过程中的优化工作通过这种方法我们总共获得了3085个多视图斑块样本其中1767个标记为恶性肿瘤相关病变体1318个则为良性肿瘤相关病变体这些数据样本将被用于训练网络以实现对未知病例的有效分类识别
该研究并未从多视图病灶斑块中提取病变特征而是分别采用了两个Inception-v3主干网络进行多视图学习分析每个Inception-v3主干网络对应自特定一个视图域中的病变特征提取过程随后将来自两个Inception-v3主干网络的特征数据依次整合至第一个全连接（FC）层结构中为了适应Inception-v3主干网络所需的输入通道数量我们在处理病变斑块图像时通过复制病灶斑块的像素值完成了必要的预处理工作最终我们总共获得了1525份病理样本数据集（其中恶性肿瘤样本共549例、良性肿瘤样本共468例）用于训练和验证该多模态卷积神经网络模型结构
网络训练与评估
我们采用五折交叉验证的方法对多视图卷积神经网络进行了系统的训练、验证和测试过程。其中每个文件夹均包含来自ABUS数据集中约20%的乳腺病变组织样本（包括31个恶性病变组织样本与33个良性的病变组织样本）。在每一轮交叉循环中, 我们将其中一个文件夹分配为独立的测试集;其余四个文件夹则被划分为训练集与验证集;其中三个文件夹构成训练集, 剩余的一个则用于构建验证集。每次epoch结束后, 我们均利用当前轮次的验证集来进行模型性能评估。通过监测在每次迭代中的分类性能提升情况, 我们引入了早停机制以避免过拟合问题。具体而言, 一旦检测到连续5个epoch中AUC值未见改善则停止当前轮次的学习过程并记录最优模型参数设置（即对应最后一个提升效果明显的状态）。随后我们将最优模型应用于独立测试集合上以获得最终分类性能指标（包括灵敏度、特异度及AUC值）统计结果作为研究结论的基础依据
为了在有限的训练样本范围内优化学习效果并提升模型性能，在训练数据集上实施了相应的增强措施。对于采用多视图技术的CNN A，在用于训练的过程中将每个病灶块分别以90度、180度、270度旋转三次，并对其进行水平和垂直方向上的翻转处理。针对采用多模态图像分析的多视图CNN B，在获取病变斑块时采用了与CNN A相同的增强策略
在多视图CNN架构中，FC层参数采用了Xavier均匀初始化（Glorot和Bengio, 2010）。此外，在Inception-v3主干网络参数初始化方面，则采用了从ImageNet数据库预训练得到的最佳权重配置。在迁移学习过程中，则采用了Azizpour等人（2015）的方法，在全网层次进行微调优化。基于此基础之上，并经过32批数据训练后完成模型收敛。最终运用Adadelta优化算法来降低损失函数（Zeiler, 2012）。所有模型构建均基于Keras平台完成，并在Ubuntu 18.04系统环境下利用Nvidia P6000显卡运行 training
结果:
多视图CNN的分类性能
为了选择有效的多视图策略在多视图神经网络中进行了对比分析 比较了两种不同配置下的分类性能表现 比如说 多视图CNN A的表现参数包括敏感度0.886 特异性0.876 平均AUC值为0.9468 标准误为0.0164 而与之相比 多视图CNN B在敏感度上有所下降 达到了0.865 特异性也降至了0.848 相对于前者的指标数值 减幅约为2% 同时其平均AUC值也相应降低至0.9346 标准误进一步缩小到0.0095 最后 该研究中的多视图CNN平均ROC曲线如图6所示
进行了多视图卷积神经网络与单视图卷积神经网络的分类性能对比研究
0.0233)，但仍不能达到多视图CNN的分类性能。
此外，通过选用不同的主干网络，证明了病灶特征提取的有效性。具体来说，用ResNet (He et al. 2016)、DenseNet (Huang et al. 2017a)、Inception -v4 (Szegedy et al. 2017)和Inception-ResNet-v2 (Szegedy et al. 2017)的卷积结构替换了所提出的主干网络。 表 3 总结了使用不同主干的多视图CNN A的分类性能。基于结果，多视图CNN A的Inception-v3主干优于ResNet、DenseNet、Inception-v4或Inception-Resnet-v2主干。此外，通过从头训练多视图CNN A，探索了具有ImageNet预训练权重的inception-v3主干的有效性。为了从零开始训练模型，所有卷积层的权重通过采用Xavier统一初始化器进行初始化，而偏差被初始化为零。如 表 3 所示，与使用ImageNet预训练的权重相比，从头训练的多视图CNN的分类性能有所下降。
与传统机器学习特征提取器的比较
本节将对比多视图卷积神经网络A与传统机器学习中的特征提取器主成分分析法（PCA）和 Histogram of Oriented Gradients (HOG) 的分类性能。这些研究均表明，在超声图像中对病变征象进行特征提取具有重要的实用价值（Huang et al., 2005；Moura & Guevara-López, 2013）。为了构建PCA实验平台，则采用了 Huang 等人的预处理方法。首先对各组多模态病变斑块样本进行标准化处理至统一的空间分辨率（如128x128像素）。
128
第三步是直方图均衡化的实施阶段，在此基础上我们增加了局部对比度归一化的操作。具体而言，在Arevalo等人的研究（2016）中提到的方法上进行了改进。这种归一化措施有助于提升分类器的学习效果。完成上述预处理操作后，我们将数据输入主成分分析流程中进行特征提取。为了确定主成分的最佳数量，在数据预处理完成后我们采用了穷举搜索的方法确定主成分的最佳数量。随后，在HOG特征提取方面，则采用了Moura和Guevara Lopez（2013）所研究的不同方向bin以及每个块内像素数量不同的设置进行优化探索。
3, 5
随后利用径向基函数核的支持向量机（SVM）对提取出的病变特征进行分类。为了优化分类性能，在给定惩罚参数候选范围（数值范围）内通过穷举搜索方法确定了最佳惩罚参数，并限制了核系数可能取值为（另一个数值范围）。该SVM模型采用与多视图CNN A相同的五折交叉验证策略用于训练和评估。其中PCA算法基于Scikitlearn库实现（Pedregosa等،2011），而HOG特征提取则依赖于Scipy库（Jones等،2001）。
如表4所示，在采用SVM的人工主成分（PCA）方法进行分类时，其分类效果欠佳；具体而言，在敏感性方面表现为0.719，在特异性方面表现为0.764；同时平均AUC值为0.8195，并且标准差为0.0644。相比之下，在特征提取方法中使用哈希梯度场（HOG）的方法在分类性能上显著优于基于SVM的人工主成分（PCA），其敏感性指标为0.782，在特异性方面则达到了0.771；平均AUC值提升至0.8537。
其精度值为 0.0201 ，但仍未能达到多视图 CNN 的分类性能。 图 7 呈现了多视图 CNN 、 PCA 和 HOG 方法在均值 ROC 曲线上的表现。
观察者性能测试
为了验证所提出的多视图CNN的有效性,我们设计了一项观察者性能测试,以评估该方法在医学影像分析中的应用效果。研究团队由五名专业评审人员组成,其中包括乳腺专业放射科医生、两名资深放射科住院医师、一名初步级放射科住院医师以及一名内科医生。需要注意的是,参与测试的所有评审人员均未对病变的真实情况进行注释,且在没有患者信息的情况下独立审阅了研究中使用的ABUS图像数据集。每位病灶 lesion采用了7级评估系统进行评分(1=完全非恶性,2=高度接近非恶性,3=可能非恶性,4=可能存在恶性特征,5=存在较低恶性风险,6=明显恶性迹象,7=高度可疑恶性)。在第一轮评估结束后,所有参与评估的人类评审者的决策均基于对多视图CNN A预测结果的综合考量进行了调整。表5总结了观察者性能测试中各组人员第一轮到第二轮诊断性能的变化情况:借助多视图CNN A的帮助,所有人类评审者的诊断准确率均有所提升(平均准确率增长幅度达10.2%,具体范围为-8.3%至17.0%)；同时所有参与评估的人类评审者的敏感性也有所增强(平均敏感度增长幅度达5.2%,具体范围为-1.5%至8.0%)；特别值得注意的是,非专业医学影像解读人员在特异性检测能力方面表现出显著改善(敏感度从40.3%提升至85.1%)；相比之下,本文提出的方法在提高专业医学影像解读人员的特异性检测能力方面并未显示出显著优势（平均特异度增长幅度仅为1.5%,具体范围为-2.1%至4.0%）；值得注意的是，在高级别的放射科医生群体中存在例外情况（从85.1%降至84.5%）。无论ABUS图像的表现如何变化都不会影响到高级别放射科住院医师组的整体表现
如图8所示，在评估多视图CNN A的性能时,我们收集了来自五位人类审稿人的AUC值数据。在这五位审稿人中,有四位的AUC值显示出从第一轮到第二轮的显著提升;唯一例外的是专门从事放射科工作的医生。其中非放射科医生(内科医师)在该指标上实现了38%的显著提升(AUC改善量为0.245)。为了检验每个评审者AUC变化的统计学意义,我们在1000个bootstrap样本下应用了Delong检验。对于专门从事放射科工作的医生,其在第一轮至第二轮期间,AUC值下降了-/-分;然而,这一变化在统计学上并不具有显著性(p≥/-).而对于其他四位审稿人,他们在参考多视图CNN A分类结果的基础上,在统计学上表现出了明显改善(p</-).
讨论
本研究中所采用的方法基于改进型Inception-v3 多模态卷积神经网络架构，在乳腺病变斑块良恶性分类任务上展现出显著的效果。我们考察了两种新型多模态卷积神经网络结构（A型和B型）。无论是在横切面还是冠状面切片上分析病变斑块时，这两种新型模型均表现出优于单一模态模型的优势。这种优势可能源于于该模型能够同时从横断面和冠状面切片中提取病变特征信息，并能综合多个视角下的图像特性。由此可知，在利用多个视角信息进行建模时可获得更为可靠的特征描述。
多视图CNN分析
值得注意的是，在研究过程中首次提出的概念最初应用于乳腺X射线摄影（Geras et al., 2017）。基于我们进行的一系列实验结果表明，在ABUS成像系统中这一方法展现了良好的鉴别能力。相比之下，则有另一个方法更为受到重视：主要原因有两个方面：第一点是其采用多视角策略时需要两副骨骼模型以实现数据同步；另一方面则是相比而言推算速度显著快于前者（34.34ms/病变体 vs 73.79ms/病变体），这充分体现了计算效率的优势
相较于基于传统卷积层的ResNet和DenseNet主干架构，在病灶特征提取方面，采用Inception模块进行卷积的Inception-v3主干取得了显著进展。实验数据显示，在不同尺寸病灶下提取特征的能力是该改进的关键因素；而传统的卷积层仅能提取固定尺度的特征，并且这些特征与病灶的实际尺寸无关。相较于基于Inception架构的传统CNN模型，在多视图CNN A性能上有所提升的情况下，采用inception-v3主干的表现优于inception-v4或Inception-ResNet-v2主干的表现。从技术层面来看，在inceptio-nv3主干的有效性上可观察到两个关键点：其一是在从inceptio-nv3升级至inceptio-nv4或inceptio-n-ResNet-v2的过程中，默认设计中包含较少的基础模块；然而在实际测试中发现，默认加入更多的inceptio-n模块并不能显著提升ABUS成像分类性能；其二是随着网络深度增加并引入更多inceptio-n模块的过程中容易受到梯度消失问题的影响。为了解决这一问题，在inceptio-n-ResNet-v2主干设计中采用了剩余连接技术：在每个inceptio-n模块输入端添加一个线性变换层后将输出信号传递到下一个非线性激活单元；而直接将输出信号返回到前一层以实现信息回流的方式则未被采用。相比之下，在inceptio-nv4主干设计中未采用剩余连接技术，则可能解释了为何梯度消失现象会导致分类性能进一步下降
与以往工作比较
在应用多视图CNN A模型对316例乳腺病变进行五折交叉验证法的情况下
基于以往的研究
基于不同数据库
观察者性能测试分析
在我们的观察者性能测试中
例如如图9a所示
如图9b所示
通过构建多平面图像使放射科医生能够综合评估乳腺病变
这导致我们在横切面分析方面的表现与其在冠状面上的应用相仿
结论
在本研究中，我们开发了一种基于卷积神经网络（CNN）的方法来区分乳腺癌病灶的恶性与良性性质。据我们了解，在使用深度学习方法处理乳腺癌图像分型方面尚未有其他研究能够实现这一目标。为此，在本研究中我们采用了多模态数据融合策略，并结合传统神经网络的优势，在ABUS成像技术的基础上实现了对病灶特征的多维度提取与学习。具体而言，在这项研究中我们提出了一种新型CNN架构：该模型以原始图像作为输入信号并直接提取图像特征；与传统方法相比无需人工设计分割算法及特征选择流程等繁琐步骤即可实现高效学习与分类任务；在此架构下通过多模态视角分析病灶特征并最终实现高灵敏度与高特异性（检测灵敏度达到0.886；检测 specificity达到0.876）的分类效果。此外，在性能评估指标方面我们的模型表现优于现有机器学习算法：AUC值提高了超过10%（具体数值为1.234）。通过系统观察者测试证实了该模型具有较高的临床应用价值；其诊断性能显著优于常规的人工评审标准（P值<0.05）。基于当前研究成果我们可以认为所提出的CNN系统可作为辅助诊断工具加入现有的计算机辅助诊断（CADx）系统中使用；该系统不仅能够有效提取病变特征还能提供可靠的分类支持从而显著提升临床诊断效率与准确性。展望未来我们将进一步优化模型参数并探索其在更多临床样本上的适用性以期构建一个端到端的鲁棒性更强的计算机辅助诊断框架
致谢 ——作者因获得加拿大自然科学与工程研究委员会(NSERC)以及萨斯喀彻温大学电子与计算机工程系的资金支持而得以完成这项研究工作。该研究项目获得了韩国健康产业技术研究院(KHIDI)以及大韩民国卫生与福利部(grant HI18 C2383)的资金支持。此外,该文章也获得了JNUH生物医学研究所基金的支持。
利益冲突披露 —作者声明他们没有利益冲突。