论文解读(一)V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation
发表 :Computer Vision and Pattern Recognition
数据集 : MRI volumes depicting prostate前列腺核磁共振成像
目标函数 :基于Dice系数的目标函数
数据增强 :随机非线性转换和直方图匹配来增加数据
摘要 : CNN最近被应用于解决计算机视觉和医学图像分析领域的问题。尽管它们很受欢迎,但大多数方法只能处理2D图像,而在临床实践中使用的大多数医疗数据是由3D组成的。
(1) 在这项工作中,我们提出了一种基于三维全卷积神经网络的三维图像分割方法。
(2) 我们的CNN可以进行端到端的前列腺核磁共振成像的训练,并能够预测整个三维图像的分割。
(3) 我们提出了一种新的基于Dice系数的目标函数,并在训练过程中对其进行了优化。这样,我们就可以处理前景和背景体素数量严重不平衡的情况。
(4) 为了处理有限数量的可用于训练的标签图,我们使用随机非线性转换和直方图匹配来增加数据。我们的实验评估表明,我们的方法在具有挑战性的测试数据上取得了良好的性能,而只需要其他以前的方法的一小部分处理时间。
难点 :1.目标是分割三维前列腺MRI。这是一个具有挑战性的任务,因为前列腺可以在不同的扫描中呈现广泛的外观,由于变形和强度分布的变化。此外,由于场的不均匀性,磁共振成像经常受到人工制品和畸变的影响。2.二维图像到三维图像的处理。
解决方法 :在这项工作中,我们提出了我们的方法,医学图像分割,利用完全卷积神经网络的力量,训练端到端,以处理三维核磁共振。与最近的其他方法不同的是,我们避免了用切片的方式处理,而是使用三维卷积。我们提出了一个新的目标函数基于dice系数最大化,我们优化训练。我们实验证明了能够在三维前列腺MRI的测试中获得快速和准确的结果,我们提供了直接的比较与其他方法的评估在相同的测试数据
网络结构 :
(1)使用卷积操作来提取数据的特征,于此同时在每个“阶段”的末尾通过合适的步长来降低数据的分辨率。整个结构的左边是一个逐渐压缩的路径,而右边是一个逐渐解压缩的路径。最终输出的大小是和图像原始尺寸一样大的。所有的卷积操作都使用了合适的padding操作。
(2)左边的压缩路径被分为了多个阶段,每个阶段都具有相同的分辨率。每个阶段都包含1到3个卷积层。为了使每个阶段学习一个参数函数:将每阶段的输入和输出进行相加以获得残差函数的学习。结合试验观察得知:这种结构为了确保在短时间内收敛需要一个未曾学过残差函数的相似性网络。
(3)每个阶段的卷积操作使用的卷积核大小为5x5x5。在压缩路径一端,数据经过每个阶段处理之后会通过大小为2x2x2且步长为2的卷积核进行分辨率压缩。因此,每个阶段结束之后,特征图大小减半,这与池化层起着类似的作用。因为图像分辨率降低和残差网络的形式,从而将特征图的通道数进行的翻倍。整个网络结构中,均使用PReLu非线性激活函数。
(4)使用卷积操作替代池化操作,在一些特殊的实现方式下可以在训练过程中减小内存的使用。这是因为在方向传播过程中并不需要像池化操作一样去切换输入和输出之间的映射,同时也更易于理解和分析。
(5)下采样有利于在接下来的网络层中减小输入信号的尺寸同时扩大特征的感受野范围,下一层感受到的特征数量是上一层的两倍。
(6)网络右边部分的功能主要是提取特征和扩展低分辨率的空间支持以组合必要的信息,从而输出一个两通道的体数据分割。这最后一个卷积层使用的卷积核大小是1x1x1,输出的大小与原输入大小一致。两个特征图通过这个卷积层来利用soft-max来生成前景和背景的分割概率图。在右边解压缩路径中每个阶段的最后,通过一个解卷积操作来恢复输入数据的大小。
(7)于此同时,在收缩路径中每阶段的结果都会作为输入的一部分加入到右边解压缩对应的阶段中。这样就能够保留一部分由于压缩而丢失的信息,从而提高最终边界分割的准确性。同时这样有利于提高模型的收敛速度。
训练网络 :
1.目标函数
在这项工作中,我们提出了一个新的目标函数基于dice系数,这是一个值在0和1之间,我们的目标是最大化。预测和真实图(像素值为0或1)之间的dice系数D可以表示为
2.数据增强:
使用 2x2x2的网格控制点和B-spline来获得稠密的形变场对图像进行非线性形变。
使用直方图匹配来获得不同灰度分布的图像。
论文贡献 :第一,3D图像分割end2ent模型(基于3D卷积),用于MRI前列腺容积医学图像分割。第二,新的目标函数,基于Dice coefficient。第三,数据扩充方法:random non-linear transformations和histogram matching。第四,加入残差学习提升收敛。
论文解读:
<>
V-Net论文:
https://arxiv.org/pdf/1606.04797.pdf
V-Net代码:
https://github.com/mattmacy/vnet.pytorch
