肺结节目标检测_一种基于CT图像的肺结节检测方法及系统与流程

本发明属于医学图像分析和计算机辅助诊断等技术领域，更具体地，涉及一种基于CT图像的肺结节检测方法及系统。

背景技术：

肺癌是导致患癌死亡的最危险的疾病之一，其发病率占所有癌症的三分之二，且5年存活率为18％。临床经验表明，如果能够在早期诊断出肺癌，那么患者存活的几率将会大幅度提升。使用基于肺部的计算机断层扫描(CT)图像的诊断方法，是早期肺癌诊断和提高患者存活率的重要策略。在基于医学影像学的诊断方法中，准确地对肺结节进行检测是诊断早期肺癌的重要步骤。为了开发健壮的肺结节自动检测系统具有重要的临床意义。但由于CT图像上肺结节的异质性，导致很难获得一个令人满意的检测结果。例如，对于钙化状结节、空洞型结节和磨玻璃状结节而言，它们从形状，纹理以及灰度等多个方面均反映出肺结节的异质性。此外，由于肺结节与其周围组织之间的高度相似性，对开发一个鲁棒的检测系统也是一个挑战。例如，对于并发型结节而言，由于结节与肺壁的灰度几乎相同，导致我们很难自动定位出它的准确位置。类似地，对于直径小于6mm的小型结节，由于其与周围的噪声具有相似的灰度，导致此类结节难以区分。

近年来，为了获得一个较好的检测效果，很多方法被提出。这些方法通常可分为传统的检测方法，机器学习类算法以及基于卷积神经网络的方法。在传统的检测方法中，为了从背景较为复杂的肺部环境中检测出结节，形态学操作，基于阈值的方法，聚类算法以及能量优化算法等等，已被广泛应用。例如，Rezaie等人于2017年提出了“Detection of Lung Nodules on Medical Images by the Use of Fractal Segmentation”，该方法首先基于阈值类方法选择可能存在结节的感兴趣区域，然后使用边缘检测类算法对肺结节进行定位。在机器学习方法中，人们将分类模型与高级特征相结合以用于肺结节的检测。例如，Aghabalaei等人于2017年提出了“Automatic lung nodule detection based on statistical region merging and support vector machines”，该方法设计了一组光谱，纹理和形状特征来表征结节，之后使用SVM分类器对候选结节进行分类。在卷积神经网络的方法中，研究人员以有监督的方式端到端地训练肺结节检测模型，同时使用卷积神经网络来学习结节的相关特征，取代传统人工设计的特征，如形状和纹理特征。例如，Ding等人于2017年提出了“Accurate Pulmonary Nodule Detection in Computed Tomography Images Using Deep Convolutional Neural Networks”，该方法首先基于Faster R-CNN进行候选结节的检测，之后使用三维的深度卷积神经网络来减少候选结节中的假阳性。为了进一步提高肺结节检测方法的泛化能力，本发明提出了一种基于UNet，DSSD和3DCNN的肺结节检测方法。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明的目的在于提供一种基于CT图像的肺结节检测方法及系统，其中通过对CT图像中肺结节检测方法的整体流程以及各个功能模块的设计及细节结构等进行改进，与现有技术相比能够有效地减少对检测结果的人工干预，本发明提供的肺结节检测方法可以对各种类型的肺结节进行检测，能够克服肺结节与其周围组织之间的高度相似性，以及其自身的异质性，同时实现较为理想的检测性能，进而能够很好地辅助医生进行肺癌的诊断。并且，本发明通过采用特殊设计的DSSD网络，能够将现有技术中针对自然图像的DSSD网络转用到医学图像领域，与另外的UNet网络和3DCNN网络一起，可有效实现基于CT图像的肺结节检测方法及系统。

为实现上述目的，按照本发明的一个方面，提供了一种基于CT图像的肺结节检测方法，其特征在于，包含以下步骤：

(1)基于UNet网络的快速定位处理：利用训练完成的UNet模型对待处理的CT图像进行两次预测，以获得对应于CT图像中疑似肺结节的结节掩码区域；所述两次预测操作包括利用UNet模型进行的第一次预测及第二次预测，其中，第二次预测是以第一次预测的结果为中心进行的再次预测；

(2)基于DSSD网络的目标检测处理：对与所述步骤(1)中得到的所述结节掩码区域对应的图像块，利用训练完成的DSSD模型进行预测，以获得候选肺结节的检测结果；

(3)基于3DCNN的假阳性筛选处理：利用训练完成的3DCNN模型对所述步骤(2)中得到的候选肺结节进行筛选，以剔除其中的假阳性结节。

作为本发明的进一步优选，所述步骤(1)中，所述UNet模型具体是基于残差密集块的UNet网络训练得到，该网络包括六个残差密集块、三个二维的最大池化层、三个二维的上采样层、以及一个Sigmoid回归层，其中，输入的图像通过第一残差密集块得到第一中间结果，再通过第一最大池化层输送到第二残差密集块得到第二中间结果，再通过第二最大池化层输送到第三残差密集块得到第三中间结果，再通过第三最大池化层和第四上采样层得到的结果与所述第三中间结果拼接后输入至第四残差密集块得到第四中间结果，该第四中间结果与所述第二中间结果拼接后输入至第五残差密集块得到第五中间结果，该第五中间结果与所述第一中间结果拼接后输入至第六残差密集块再经Sigmoid回归层处理后即可得到最终的预测结果；

任意一个所述残差密集块均由六个密集块的堆叠和一个残差块的连接构成。

作为本发明的进一步优选，所述步骤(1)中，所述UNet模型是经过训练得到的；所述UNet模型的训练具体是先根据肺结节公开数据集使用基于边界的加权采样策略对正样本进行采样，然后使用随机采样策略对负样本进行采样，接着基于Hard Mining的思想利用这些正样本和负样本进行训练；

其中，所述基于边界的加权采样策略，具体是根据每个肺结节体素与肺结节边缘体素的最小距离来分配相应的采样权重；优选是以肺结节边界体素的个数为基准，确定结节类和非结节类体素的采样规模，再以各个结节类体素点为中心获取64×64×3的图像块作为正样本；然后，随机对非肺结节类进行采样，再以各个已采样的非肺结节类体素点为中心获取64×64×3的图像块作为负样本，从而利用这些正样本和负样本对基于UNet网络的定位模型进行训练；

更优选的，结节类体素点采样权重可根据如下的式(1)获得：

其中，PWk表示肺结节类中第k个体素的采样权重；N表示属于肺结节的体素的集合；E表示属于肺结节边缘的体素集合；d(k,t)表示N中第k个体素与E中第t个体素之间的欧氏距离。

作为本发明的进一步优选，所述步骤(2)中，所述DSSD模型是通过对基于DSSD网络的检测架构进行训练得到，具体包括基于VGG16结构的主链网络，与该主链网络相连的依次排列的四个反卷积模块，以及分别与该主链网络及四个反卷积模块单独连接且用于输出检测结果的五个预测模块；其中，所述基于VGG16结构的主链网络依次包括第一卷积层、第一池化层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、1x1的卷积层、及第六卷积层；所述四个反卷积模块中，第一反卷积模块基于所述第六卷积层输出的结果与所述1x1卷积层的输出结果一起送入第一反卷积模块得到第一中间反卷积结果；所述第二反卷积模块基于所述第一中间反卷积结果与所述第四卷积层的输出结果一起送入第二反卷积模块得到第二中间反卷积结果；第三反卷积模块基于所述第二中间反卷积结果与所述第三卷积层的输出结果一起送入第三反卷积模块得到第三中间反卷积结果；第四反卷积模块基于所述第三中间反卷积结果与所述第四卷积层的输出结果一起送入第四反卷积模块得到第四中间反卷积结果；所述五个预测模块中，第一预测模块用于基于所述第六卷积层输出的结果进行预测，第二预测模块用于基于所述第一中间反卷积结果进行预测，第三预测模块用于基于所述第二中间反卷积结果进行预测，第四预测模块用于基于所述第三中间反卷积结果进行预测，第五预测模块用于基于所述第四中间反卷积结果进行预测；

任意一个所述反卷积模块具体为高级特征映射图和低级特征映射图的融合模块，任意一个所述反卷积模块的输入有两个，其中一个是大小为H×W×512的高级特征映射图，另一个则是大小为2H×2W×D的低级特征映射图，这两个输入的H的大小对应相等，W的大小也对应相等；在经过该反卷积模块处理后，得到一个大小为2H×2W×512的特征映射图；

任意一个所述预测模块均用于分类和定位回归的预测。

作为本发明的进一步优选，所述步骤(2)中，所述DSSD模型是通过对基于DSSD网络的检测架构进行训练得到；

所述DSSD模型的训练是根据包含肺结节三维中心坐标信息和结节直径信息的第一类标注文件，提取该第一类标注文件中以肺结节的中心为中心的2D数据块，然后将这些2D数据块输入至该DSSD网络，并使用Adam优化器进行训练的；优选的，所述第一类标注文件为LUNA16官方提供的annotations.csv标注文件；

所述2D数据块的提取，具体是先基于所述第一类标注文件，获取全部包含结节的、且大小为512×512的切片；然后在每个大小为512×512的切片中，以窗口大小为64×64、且步长为32的方式进行滑动；最后，根据窗口中是否包含肺结节来对其进行采样，采样的条件是窗口中包含的肺结节的面积占该切片上这一肺结节总面积的比例大于预先设定的阈值时，才对该窗口对应的切片区域以及与该切片层紧邻的上一层切片及下一层切片同一位置处的切片区域同时进行裁剪，从而得到大小为64×64×3的2D数据块；

所述基于DSSD网络的训练包括预选框以及其对应的标签值的使用，其中，所述预选框为所述2D数据块中间层64×64中不同位置、不同长宽比、且不同尺寸大小的多个矩形框，任意一个所述预选框的标签值根据该预选框中包含结节的面积比例IOU来判定，IOU的计算公式如下式(2)所示：

其中，area(p)∩area(g)代表预选框与金标准对应的矩形框的交集对应的面积，area(p)∪area(g)代表预选框与金标准对应的矩形框的并集对应的面积；若IOU大于预设的阈值，则标记该预选框的标签值为正样本的标签值，否则标记为负样本的标签值。

作为本发明的进一步优选，所述步骤(3)中，所述3DCNN模型是通过对基于3DCNN网络进行训练得到，该架构具有不同结构的三个深层分支，其中第一分支用于处理长宽高尺寸均最小的3D数据块，第二分支用于处理长宽高尺寸均较大的3D数据块，第三分支用于处理长宽高尺寸均最大的3D数据块；所述第一分支包含13个卷积层、一个中心池化层和一个全局平均池化层，这13个卷积层中，两个卷积层用于构成卷积块，一个卷积层配合所述中心池化层使用，另外10个卷积层用于构建五个密集块，并进一步堆叠构成密集块组；所述第二分支包含26个卷积层、两个中心池化层和一个全局平均池化层，这26个卷积层中，两个卷积层用于构成卷积块，两个卷积层分别配合两个所述中心池化层使用，八个卷积层用于构成四个密集块，并进一步堆叠构成密集块组，另外14个卷积层用于构成七个密集块，并进一步堆叠构成密集块组；所述第三分支包含22个卷积层、两个中心池化层和一个全局平均池化层，这22个卷积层中，两个卷积层用于构成卷积块，两个卷积层分别配合两个所述中心池化层使用，六个卷积层用于构成三个密集块，并进一步堆叠构成密集块组，另外12个卷积层用于构成六个密集块，并进一步堆叠构成密集块组；

优选的，所述最小的3D数据块的长宽高尺寸为24×24×24，所述较大的3D数据块的长宽高尺寸为32×32×32，所述最大的3D数据块的长宽高尺寸为40×40×40。

作为本发明的进一步优选，所述步骤(3)中，所述3DCNN模型是经过训练得到的；

基于3DCNN网络的训练是使用Xavier方法进行初始化，然后根据包含肺结节三维中心坐标信息和是否属于肺结节的类别信息的第二类标注文件，以肺结节的中心为中心且分别按所述第一分支、所述第二分支、所述第三分支所需3D数据块的长宽高尺寸要求，裁剪得到相应的用于训练的3D数据块，并将这些3D数据块输入至该3DCNN网络，并使用SGD优化器进行训练的；优选的，所述第二类标注文件为LUNA16官方提供的candidates_V2.csv标注文件；

所述3D数据块中正样本与负样本两者的数量之比满足1：1～1：1.2，其中正样本是经过在肺结节半径范围内随机采样以及在轴状面将肺结节旋转90°、180°和270°扩充得到的。

作为本发明的进一步优选，所述步骤(1)中，所述两次预测操作具体是，先使用已训练好的UNet模型，以步长64，窗口大小128×128×3的数据块滑动预测整个待处理的CT图像，得到初始的第一次预测结果；然后以该第一次预测结果的中心为中心，提取64×64×3的数据块，并将其送入已训练好的UNet模型进行第二次预测，得到第二次预测结果，此结果即为最终UNet模型分割的疑似肺结节的掩码；

所述步骤(2)中，对与所述肺结节掩码区域对应的图像块利用DSSD模型进行预测，得到肺结节的检测结果，具体是以所述结节掩码的中心为中心提取64×64×3的图像块，然后将这些图像块输入至已训练好的DSSD模型中进行处理，最终得到候选肺结节的中心坐标值信息和直径信息；

所述步骤(3)中，对所述步骤(2)中得到的所述候选肺结节进行筛选，具体是以各个候选肺结节的中心为中心且分别按所述第一分支、所述第二分支、所述第三分支所需的3D数据块的长宽高尺寸的要求，裁剪得到用于预测的3D数据块，然后将这些3D数据块输入至已训练好的3DCNN模型中进行预测，从而对所述候选结节进行筛选。

按照本发明的另一方面，本发明提供了一种基于CT图像的肺结节检测系统，其特征在于，包括基于UNet网络的快速定位模块、基于DSSD网络的目标检测模块以及基于3DCNN的假阳性减少模块，其中，

所述基于UNet网络的快速定位模块用于：对待处理的CT图像进行两次预测，以获得肺结节的掩码；所述两次预测操作包括利用UNet模型进行第一次预测和第二次预测，其中，第二次预测是以第一次预测的结果为中心进行的再次预测；

所述基于DSSD网络的目标检测模块用于：对所述基于UNet网络的快速定位模块中得到的肺结节掩码对应的图像块进行预测，获得候选肺结节的检测结果；

所述基于3DCNN的假阳性减少模块用于：对所述基于DSSD网络的目标检测模块中得到的候选结节进行筛选，以剔除假阳性肺结节。

作为本发明的进一步优选，所述UNet模型具体是通过对基于残差密集块的UNet网络进行训练得到，该网络包括六个残差密集块、三个二维的最大池化层、三个二维的上采样层、以及一个Sigmoid回归层，其中，输入的图像通过第一残差密集块得到第一中间结果，再通过第一最大池化层输送到第二残差密集块得到第二中间结果，再通过第二最大池化层输送到第三残差密集块得到第三中间结果，再通过第三最大池化层和第四上采样层得到的结果与所述第三中间结果拼接后输入至第四残差密集块得到第四中间结果，该第四中间结果与所述第二中间结果拼接后输入至第五残差密集块得到第五中间结果，该第五中间结果与所述第一中间结果拼接后输入至第六残差密集块再经Sigmoid回归层处理后即可得到预测结果；

任意一个所述残差密集块由六个密集块的堆叠和一个残差连接构成；

DSSD模型是通过对基于DSSD网络的检测架构进行训练得到，具体包括基于VGG16结构的主链网络，与该主链网络相连的依次排列的四个反卷积模块，以及分别与该主链网络及四个反卷积模块单独连接且用于输出检测结果的五个预测模块；所述基于VGG16结构的主链网络依次包括第一卷积层、第一池化层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、1x1的卷积层、及第六卷积层；所述四个反卷积模块中，第一反卷积模块基于所述第六卷积层输出的结果与所述1x1卷积层的输出结果一起送入第一反卷积模块得到第一中间反卷积结果；所述第二反卷积模块基于所述第一中间反卷积结果与所述第四卷积层的输出结果一起送入第二反卷积模块得到第二中间反卷积结果；第三反卷积模块基于所述第二中间反卷积结果与所述第三卷积层的输出结果一起送入第三反卷积模块得到第三中间反卷积结果；第四反卷积模块基于所述第三中间反卷积结果与所述第四卷积层的输出结果一起送入第四反卷积模块得到第四中间反卷积结果；所述五个预测模块中，第一预测模块用于基于所述第六卷积层输出的结果进行预测，第二预测模块用于基于所述第一中间反卷积结果进行预测，第三预测模块用于基于所述第二中间反卷积结果进行预测，第四预测模块用于基于所述第三中间反卷积结果进行预测，第五预测模块用于基于所述第四中间反卷积结果进行预测；

任意一个所述反卷积模块具体为高层特征图和低层特征图的融合模块，任意一个所述反卷积模块的输入有两个，一个是大小为H×W×512的高级特征，另一个则是大小为2H×2W×D的低级特征，这两个输入的H的大小对应相等，W的大小也对应相等；在经过该反卷积模块处理后，得到一个大小为2H×2W×512的特征图；

任意一个所述预测模块均用于分类和定位回归的预测；

3DCNN模型为多分支的基于密集块的3DCNN模型，其具有三个不同结构的深层分支，其中第一分支用于处理长宽高尺寸均最小的3D数据块，第二分支用于处理长宽高尺寸均较大的3D数据块，第三分支用于处理长宽高尺寸均最大的3D数据块；所述第一分支包含13个卷积层、一个中心池化层和一个全局平均池化层，这13个卷积层中，两个卷积层用于构成卷积块，一个卷积层配合所述中心池化层使用，另外10个卷积层用于构建五个密集块，并进一步堆叠构成密集块组；所述第二分支包含26个卷积层、两个中心池化层和一个全局平均池化层，这26个卷积层中，两个卷积层用于构成卷积块，两个卷积层分别配合两个所述中心池化层使用，八个卷积层用于构成四个密集块，并进一步堆叠构成密集块组，另外14个卷积层用于构成七个密集块，并进一步堆叠构成密集块组；所述第三分支包含22个卷积层、两个中心池化层和一个全局平均池化层，这22个卷积层中，两个卷积层用于构成卷积块，两个卷积层分别配合两个所述中心池化层使用，六个卷积层用于构成三个密集块，并进一步堆叠构成密集块组，另外12个卷积层用于构成六个密集块，并进一步堆叠构成密集块组；

优选的，所述最小的3D数据块的长宽高尺寸为24×24×24，所述较大的3D数据块的长宽高尺寸为32×32×32，所述最大的3D数据块的长宽高尺寸为40×40×40。

通过本发明所构思的以上技术方案，与现有技术相比，具有以下有益效果：

(1)提供了一套基于CT图像的肺结节检测方法。其能够很好地适应各种类型的肺结节，比如空洞型结节，磨玻璃状结节，与肺壁粘连型结节。由于本发明中的检测方法及系统中所涉及的各个网络它们的学习与训练过程，是同时包含钙化状结节、空洞型结节和磨玻璃状结节(例如annotations.csv、candidates_V2.csv的标注文件同时包含有这三类结节)，因此本发明能够将钙化状结节、空洞型结节和磨玻璃状结节这三类结节都检测出来。

(2)提供了一个基于ResDenseNet(即残差密集块网络)和UNet的全卷积网络架构，该网络集成了ResDenseNet的密集型和UNet的高效性，从而可以很好对可能存在肺结节的区域进行快速定位。本发明中构建的UNet网络包括六个残差密集块，可分为两组(每组包含三个残差密集块)，一组用于特征提取，一组用于特征重建。其中每个残差密集块又由六个密集块的堆叠和一个残差连接构成；三个二维最大池化层，分别用于特征提取时每个残差密集块之后；三个二维上采样层，分别用于特征重建时每个残差密集块之后，另外，特征重建时每个残差密集块的输入是上一层的输出和其对应的特征提取层输出的拼接。

(3)将适用于自然图像的DSSD目标检测方法应用于医学图像，并且为了使医学图像中的前景(肺结节)和背景所占的比例与自然图像中的类似，我们通过缩小背景区域，来实现这一目的，从而保证DSSD检测模型的有效性。本发明所采用的特定结构的DSSD网络，其中的特征提取部分使用的是VGG16结构，特征融合部分包含四个反卷积模块，使该DSSD网络能够更好的适用于医学图像。

(4)提供了一种多尺度的基于3DCNN的肺结节假阳性减少方法。其可以充分地利用肺结节对应的空间信息，并在寻找用于肺结节分类的区分型特征方面能力显著。该3DCNN网络中三个不同结构的深层分支，分别是用于提取大，中，小三种不同尺度特征的第一分支(即Branch-S分支)，第二分支(即Branch-M分支)和第三分支(即Branch-L分支)；Branch-L分支的整体结构与Branch-M类似，不同的是包含的卷积层个数不同。本发明中3D CNN模块，相较于现有技术中的三维的深度卷积神经网络，由于采用了三个深度的分支，可以适应不同尺度(即不同结节的大小)，此外，本发明还用到了密集块，相较于现有技术中的卷积层，能够更好的表征肺结节的特征。

附图说明

图1是本发明提供的方法流程图。

图2是本发明实施例中快速定位模块的网络架构示意图；其中(a)为快速定位模块UNet架构整体示意图，(b)为密集块(即，构成残差密集块的基本单元)的结构示意图，(c)为任意一个残差密集块的结构示意图。

图3是本发明实施例中结节检测模块的网络架构示意图；其中(a)为结节检测模块DSSD架构整体示意图，(b)为反卷积模块的结构示意图，(c)为预测模块的结构示意图。

图4是本发明实施例中假阳性减少模块的网络架构示意图；其中(a)为假阳性减少模块3DCNN网络架构整体示意图，(b)为密集块的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是本发明提供的基于CT图像的肺结节检测方法的执行流程图。其包含如下步骤：

1.快速定位

本步骤通过使用基于边界的加权采样策略对正负样本进行采样，注意此处每个样本的标签是其对应的相同大小和位置的掩码图像；然后，搭建基于UNet的网络架构,并使用随机梯度下降方法更新网络参数；最后，对整幅图像进行预测，以获得结节的掩码区域(所谓结节的掩码区域，即，将图像中显现的结节区域可定义结节区域内各体素点的掩码值为1，非结节区域也即结节区域外的各体素点的掩码值为0)。具体包括如下子步骤；

1.1、基于边界的加权采样策略

为了更好地提取结节的特征，我们有意识地去关注结节边界上的体素点，因为它们通常包含了更多的文理信息。故在采样的过程中，我们根据每个肺结节体素点与肺结节边缘体素的最小距离来分配相应的采样权重。如此便可实现，距离结节边界越近的体素点被采样几率也越大。此外，我们还需确定每个结节的采样规模，为了在不引人过多冗余样本点的情况下，充分地对各种大小的结节进行采样，我们仅以结节边界体素点的个数为基准，而非取结节对应的所有体素点。在本发明的具体实验中，我们将结节类的采样点个数设置为结节边界体素点个数的两倍。为了平衡训练标签，非结节类的采样点个数与结节类的采样点个数保持一致。

基于边界的加权采样策略，具体是根据每个肺结节体素点与肺结节边缘体素的最小距离来分配相应的采样权重；优选的，具体是以肺结节边缘体素点的个数为基准，确定结节类和非结节类体素点的采样规模，再以各个肺结节类(属于肺结节的体素的集合)体素点为中心获取64×64×3的图像块作为正样本；然后，随机对非肺结节类(不属于肺结节的体素的集合，例如背景，血管，肺壁等)进行采样，再以各个采样到的非肺结节类体素点为中心获取64×64×3的图像块作为负样本，从而利用这些正样本和负样本对UNet网络进行训练；

上述对结节类体素点分配采样权重的计算公式如下所示：

其中，PWk表示肺结节类中第k个体素的采样权重；N表示肺结节类；E表示属于肺结节边缘的体素集合；d(k,t)表示N中第k个体素与E中第t个体素之间的欧氏距离。

1.2、UNet架构的搭建

构建基于残差密集块的UNet网络架构，该架构包含六个残差密集块(如图2中(a)所示的ResDenseBlock1，ResDenseBlock2，…，ResDenseBlock6)，三个二维的最大池化层(图2中(a)所示的三个黑实线的“下采样”箭头)，三个二维的上采样层(图2中(a)所示的三个黑虚线的“上采样”箭头)，和一个Sigmoid回归层(图2中(a)所示的Sigmoid标记)。其中，六个残差密集块可分为两组(每组包含三个残差密集块)，一组用于特征提取(ResDenseBlock1，ResDenseBlock2，ResDenseBlock3)，一组用于特征重建(ResDenseBlock4，ResDenseBlock5，ResDenseBlock6)。其中每个残差密集块(如图2中(c)所示)又由六个密集块的堆叠和一个残差连接构成，如图2中(b)所示，展示了构成残差密集块的基本单元。所述的三个二维最大池化层，分别用于特征提取时每个残差密集块之后。所述的三个二维上采样层，分别用于特征重建时每个残差密集块之后，此处需要注意，特征重建时每个残差密集块的输入是上一层的输出和其对应的特征提取层输出的拼接。在本发明的具体实验中，图2中(a)所示的三次池化的池化核大小、步长、填充方式分别为3×3(单位：像素×像素)、2(单位：像素)、“same”,三次上采样的参数均使用的是默认值(如keras库的默认值等)，此外，图2中(b)所示的不同残差密集块对应的n值(即卷积核的个数)是不同的，其中ResDenseBlock1和ResDenseBlock6对应的n值为8，ResDenseBlock2和ResDenseBlock5对应的n值为16，ResDenseBlock3和ResDenseBlock4对应的n值为32。

1.3、UNet的训练与预测

使用搭建的基于残差密集块的UNet网络训练肺结节的快速定位模型(训练时输入的数据块大小为64643)，然后使用此模型以步长为64，大小为1281283的数据块滑动预测整个CT图像，之后以此次预测结果为中心，提取64643的数据块，并将其送入已训练好的UNet模型进行二次预测，最后为了获得更加鲁棒的分割结果，我们又基于Hard Mining的思想渐进式地选择困难的正负样本进行训练。具体而言，我们使用初始训练好的UNet模型预测训练集，将其中预测错误的正负样本挑选出来，继续送入网络进行微调以使模型具有更强的适应性。在本发明的具体实验中，预测错误的负样本多于正样本，故需先对正样本进行数据扩充(使用过采样的数据扩充方式)，保证送入网络训练的正负样本比例为1:1～1:2(更优选为1:1)，然后再进行网络参数的微调。此外，初始学习率设置为0.0001，微调时学习率的0.00001，批量大小为64，训练代数为15代，损失函数为相似系数，公式定义如下：

其中，V是以体素计数的体积大小，Gt表示金标准(掩码标签)，Seg表示自动分割的结果，f表示调节因子(实验中设置的可以为1.0)。

2.结节检测

本步骤首先根据LUNA16官方提供的标注文件(annotations.csv)，提取以肺结节为中心的2D数据块，并搭建基于DSSD的网络架构，然后使用Adam优化器进行训练，最后在快速定位给出的局部区域中进行预测。具体包括如下子步骤；

2.1、2D数据采样

本步骤首先根据LUNA16官方提供的标注文件(annotations.csv)，找到所有包含结节的切片层。然后将原始CT图像映射到0-255灰度范围，之后，再将结节所在层的上下两层图像与之叠加融合，得到5125123的8位目标图像。此外，由于结节在完整512512图像中所占的比例很小，无法直接使用其进行训练，故我们提取包含结节的64643大小的图像块作为输入以学习结节特征。具体而言，在每个5125123的区域中以窗口大小为6464*3，步长为32的方式进行滑动；最后，根据窗口中是否包含结节来对其进行采样，采样的条件是窗口中包含的结节面积占该切片上这一个结节总面积的比例大于设定的阈值(实验中阈值可以设定为0.5)。

2.2、DSSD架构的搭建

本步骤构建对小目标敏感的DSSD网络架构(图3中(a)所示)，该架构的特征提取部分使用的是VGG16结构，特征融合部分包含四个反卷积模块(图3中(b)所示)，最后是用于输出检测结果的五个预测模块(图3中(c)所示)。其中，特征提取部分使用VGG-16-Atrous作为基础网络，并添加1x1的卷积层。反卷积模块(图3中(b)所示)将高层特征和低层特征融合。高层的特征图的尺寸为2H2WD，低层将要进行反卷积操作的特征图尺寸为HW512。低层特征图通过反卷积等操作后，与经过卷积处理的高层特征图在对应的通道上做乘法运算，最终的输出大小为2H2W512。在反卷积模块中，所有卷积和反卷积操作的卷积核个数与输入的低层特征图的通道数相同。预测模块是在回归任务、分类任务之前以及反卷积模块之后添加的网络结构。预测模块(图3中(c)所示)将原来的特征图通过卷积处理后与网络主干道的特征图做通道间加法。除第一个预测模块的输入为特征提取部分的输出外，后面的预测模块的输入均为反卷积模块的输出。最后根据多尺度特征图做分类(图3中(c)所示的cls)和定位回归的预测(图3中(c)所示的loc regress)，分类功能模块(即cls功能模块)、定位回归预测功能模块(即loc regress功能模块)均可直接采用现有技术中的功能模块。

另外，图3(a)中的○表示逐元素相乘，与图3(b)中的Eltw Product功能相似；图3(b)中，所示的反卷积模块的输入有两个，一个是大小为HW512的高级特征，另一个是大小为2H2WD的低级特征(这两个输入中的H对应相等、且W也对应相等)，在经过该反卷积模块处理后，会得到一个大小为2H2W512的高级语义特征图。如图3所示，本发明中DSSD网络采用反卷积模块，反卷积模块指的是DSSD中高层特征和低层特征的融合模块，高层特征图的尺寸为2H2WD，低层将要进行反卷积操作的特征图尺寸为HW512，之后四个反卷积模块相连，逐步增大特征图尺寸；DSSD网络采用的预测模块是将原来的特征图卷积处理后与网络主干道的特征图做通道加法，最后根据多尺度特征图做分类和定位回归的预测。

2.3、DSSD的训练与预测

本步骤使用搭建的对小目标敏感的DSSD网络训练肺结节的检测模型，训练的输入为64643的图像块、预选框以及其对应的标签。其中，预选框是输入图像中不同位置，不同形状，不同大小的矩形框。预选框的标签根据预选框中包含结节的面积比例来判定，衡量指标使用IOU评判，其计算公式如下(2D数据块之所以采用上中下三层的切片叠加，主要是参照RGB三通道而设置的；具体的面积比例IOU的判断等，均是只考虑中间一层)：

其中area(p)代表预选框的面积，area(g)表示金标准对应的矩形框(即，外接矩形)的面积，若IOU大于预设阈值，则标记为正样本，否则为负样本。

在本发明的实验中，预选框预设的长宽比例为1、1.6、2和3。此外，随机梯度下降算法的若干参数设置是：初始学习率为0.001，之后每隔五代降低十个百分点，动量设为0.9。训练时，采用的损失函数是多任务损失函数，即正样本的位置损失和正负样本的分类损失的加权和。多任务损失函数公式如下：

其中，N是与金标准框相匹配的预选框的个数；如果N为0，我们则设置loss(即L(x,c,l,g))为0。Lloc(x,l,g)代表位置损失，l代表预测框，g代表金标准框。Lconf(x,c)代表分类损失，c为置信程度。

预选框匹配步骤后，大部分预选框为负样本，导致正负样本严重不平衡。我们使用每个预选框的最高置信度对它们进行排序，并选择前面的，是正负样本比例最多为3:1，平衡样本，加快训练。

最后预测采用滑动窗口策略以上一级UNET网络的输出作为输入，即，对以UNET网络输出的掩码区域的中心(即掩码区域的质心)为中心框选64643的数据块进行检测。由于预测结果中存在很多十分临近的结节候选点，为了减少假阳性，我们采用聚类算法，将结节中心点欧式距离小于一定阈值(实验中设为5像素)的预测结果合并。

本发明中DSSD网络是为了在快速定位产生的局部区域内使用该DSSD网络进行精确的定位，可得到各个候选结节的三维中心坐标信息及直径信息。

3.假阳性减少

根据LUNA16官方提供的标注文件(candidates_V2.csv)，提取以肺结节为中心的3D数据块，并搭建基于3DCNN的网络架构，然后使用SGD优化器进行训练，最后对结节检测模块检测出的候选结节进行筛选。具体包括如下子步骤；

3.1、3D数据的采样

为了解决正样本(真实的肺结节)和负样本(非肺结节)数量上严重不平衡的问题(原始数据集中正负比例约为1：490)。我们通过数据扩充的方式来缩小严重失衡的正负样本比例，使送入网络训练的正负样本比例为1:1～1:2(更优选为1:1)。其中，我们扩充正样本的方法有两种，一种是在肺结节半径范围内随机采样，另一种是在轴状面将肺结节旋转90°，180°和270°。

3.2、3DCNN架构的搭建

构建多分支的基于密集块的3DCNN网络架构，该架构融合了三个不同结构的深层分支，且每个分支对应的输入也有所不同。这个分支分别是用于提取大，中，小三种不同尺度特征的Branch-S分支，Branch-M分支和Branch-L分支(如图4中(a)所示)。其中，Branch-S分支包含13个卷积层(分成了两类，一类是由两个卷积层构成的卷积块，另一类是由五个密集块(如图4中(b)所示)堆叠构成的密集块组)，一个中心池化层和一个全局平均池化层。而Branch-M分支包含了26个卷积层，两个中心池化层和一个全局平均池化层。其中，Branch-M分支的26个卷积层被分成了三类，第一类与Branch-S的第一类相同，第二类是由四个密集块堆叠构成的密集块组，最后一类是由七个密集块堆叠构成的密集块组。最后一个Branch-L分支的整体结构与Branch-M类似，不同的是包含的卷积层个数不同。具体而言，Branch-L分支的第二和第三类分别是由三个和六个堆叠的密集块构成。在本发明的具体实验中，3DCNN的三个分支的网络参数如表1所示。

表1

3.3、3DCNN的训练与预测

使用搭建的基于密集块的3DCNN网络训练肺结节假阳性减少模型。在训练过程中，我们使用Xavier方法进行初始化，并使用SGD优化器进行模型参数的更新。其中，模型的输入是242424,323232和404040三种不同大小的数据块。训练时，可以以标注文件candidates_V2.csv提供的结节中心坐标值为中心，分别框选出242424、323232和404040三个大小的3D数据块，送入3DCNN网络中对该3DCNN网络进行训练。训练完成后，可使用此模型预测基于DSSD的结节检测模型产生的候选结节，具体的，在实际预测时，可以以上一层DSSD网络输出结果的中心坐标值为中心，分别框选出242424、323232和404040三个大小的数据块判断结节真阳性/假阳性；最终仅将预测概率满足预设要求(如大于0.5)候选结节视为真正的肺结节，从而可以输出这些真结节的中心坐标值及直径信息(直径信息同样也为DSSD网络输出)。本发明的具体实验中，初始学习率设置为0.001，之后，每一代学习率衰减为上一代学习率的95％。由于我们没有找到合适的预训练模型，故我们设定了相对较高的学习率从头开始训练模型。批量和动量大小分别为64和0.9，损失函数为交叉熵，公式定义如下：

其中，y'n表示模型的预测概率，yn是金标准中给定的值(即1或0)，N是样本数。

与上述检测方法相应的，本发明也可得到基于CT图像的肺结节检测系统，该系统包括三个子模块，即，基于UNet的快速定位模块、基于DSSD的目标检测模块以及基于3DCNN的假阳性减少模块；其中，快速定位模块可以快速地获取可能存在肺结节的感兴趣区域；然后，目标检测模块会在快速定位模块获得的局部区域内进行候选结节的检测；最后，假阳性减少模块会筛选掉候选结节中的假阳性结节(即，基于DSSD的网络的结节检测模块是用于在快速定位模块给出的局部区域中进行预测；基于3DCNN的网络用于对结节检测模块产生的候选结节进行筛选)。具体实现的功能与上述检测方法各个步骤相对应，在此不再复述。

本发明所使用的标注文件annotations.csv，包含肺结节的中心位置信息(即结节中心对应的xyz坐标值)、以及结节直径信息；标注文件candidates_V2.csv，则包含肺结节的中心位置信息、以及该结节是属于真阳性还是属于假阳性的信息(当属于真阳性时，可记掩码标签为1；当属于假阳性时，可记掩码标签为0)。标注文件annotations.csv、candidates_V2.csv均对应于金标准。另外，本发明中，UNet网络的数据可以是来源于肺结节公开数据集，如LIDC-IDRI数据集等。

本发明未详细说明之处均可参见相关现有技术，例如，所采用的Hard Mining的思想可参考文献“A.Shrivastava,A.Gupta,and R.Girshick,"Training Region-Based Object Detectors with Online Hard Example Mining,"in 2016IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016,pp.761-769.”；Adam优化器可参考文献“Kingma D P,Ba J.Adam:A method for stochastic optimization[J].arXiv preprint arXiv:1412.6980,2014.”；SGD优化器可参考文献“L.Wang,Y.Yang,R.Min,and S.Chakradhar,"Accelerating deep neural network training with inconsistent stochastic gradient descent,"Neural Networks,vol.93,pp.219-229,2017/09/01/2017.”；Xavier方法可参考文献“G.Xavier and B.Yoshua,"Understanding the difficulty of training deep feedforward neural networks,"2010,pp.249-256.”。此外，本发明3DCNN网络中的中心池化层，优选采用参考文献“S.Wang,M.Zhou,Z.Liu,Z.Liu,D.Gu,Y.Zang,et al.,"Central focused convolutional neural networks:Developing a data-driven model for lung nodule segmentation,"Medical Image Analysis,vol.40,pp.172-183.”中的中心池化层。

此外，本发明中数据块在长宽高或长宽方向上的单位均为体素。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。