轻量级的肝脏与肝肿瘤 2.5D 分割网络阅读笔记
文章目录
-
1 前言
-
2 方法概述
- 2.1 InceptionV1-V3 and convolution conversion
- 2.2 Residual block
- 2.3 2.5D 网络
-
3 RIU-Net 的整体结构
-
4 实验和可视化
-
5 总结
1 前言
最近，我一直在深入研究医学图像领域的相关论文。于是，我计划撰写一篇系列性的阅读笔记，内容将保持简洁明了。在之前的笔记中，我深入探讨了医学图像分割任务中基于Transformer的混合网络架构，特别是UTNet模型的性能。在本篇笔记中，我将介绍一种与UTNet不同的网络架构，旨在通过简化结构实现更高的效率，同时保持较高的准确率。论文地址如下：【https://www.sciencedirect.com/science/article/abs/pii/S1746809422000891
本文首先对论文的动机进行分析，重点讨论基于LITS17和3DIRCADb等肝脏及肝肿瘤数据集的3D卷积网络应用。尽管这类网络具备学习组织内空间关系的能力，并能充分提取CT图像的空间信息，但计算开销较大，部署复杂度较高。因此，如何在保持分割精度的同时有效利用切片间的空间信息，成为论文的核心研究问题。阅读笔记首先对论文中的方法进行概述，接着详细介绍所提出的RIU-Net架构，最后对实验部分和分割可视化结果进行分析，并对研究工作进行简要总结。
2 方法概述
这一部分作为必要的先决条件，相当于 Related Work，适用于熟悉网络结构的读者，可以略作介绍。
2.1 InceptionV1-V3 and convolution conversion
如图所示，首先分析了InceptionV1模块的结构，该模块同时包含了1×1、3×3、5×5和7×7大小的卷积核。尽管该模块增强了网络的计算效率，但同时也带来了网络参数量的增加。InceptionV2通过两个3×3卷积核替代了一个5×5卷积序列，而通过三个3×3卷积核替代了一个7×7卷积序列。InceptionV3则实现了将N×N卷积序列转换为1×N和N×1卷积组合的技术。因此，3×3卷积序列可以分解为1×3和3×1卷积组合，而5×5卷积序列则可以分解为两组1×3和3×1卷积组合，7×7卷积序列同样可以分解为三组1×3和3×1卷积组合。如图（d）所示，这种设计使得网络的参数量更加优化。
2.2 Residual block
关于ResNet的核心思想，我就不多介绍了。在本文中，Residual块也被成功嵌入到InceptionV3架构中，如图所示。通过这种方式，将U-Net的基础模块替换为RI（Res-Inception）结构，即在基于卷积层的Inception架构基础上，增加了残余连接，从而实现了更薄而更宽的网络结构。与传统U-Net相比，该网络的整体参数量减少了70%，有效降低了计算开销。
2.3 2.5D 网络
在医学图像分割领域，充分利用医学图像切片间的空间信息是取得良好效果的关键。直接将3D图像输入网络会导致内存占用极大，而将3D图像转换为2D图像同样会失去重要的空间信息，这并非理想解决方案。因此，2.5D方法应运而生，通过将相邻切片作为输入并生成与中心切片相关的分割图，既能够有效节省计算资源，又能充分保留空间信息。
3 RIU-Net 的整体结构
在上一部分，我们重点阐述了论文中涉及的技术，基于此，我们深入探讨了该网络的整体架构。该网络架构以U-Net为原型构建，其结构保持了对称性。编码器位于左侧，负责特征提取；解码器位于右侧，专注于定位感兴趣区域。编码器与解码器之间采用常规的跳跃连接方式，实现低级语义信息与高级语义特征的整合。整体架构由9个RI模块（Res-Inception）、4个下采样层、4个上采样层以及一个1×1卷积层构成。如图所示。
在肝脏与肝肿瘤分割任务中，尤其是在肿块区域大小不一的情况下，传统的U-Net架构采用固定卷积序列可能会导致感受野范围受到限制，从而降低分割精度。为了克服这一局限性，可以采用多尺度卷积核来实现不同尺度的感受野，从而保证分割精度。
4 实验和可视化
在本文中，实验和可视化部分是值得重点参考的内容，采用LiTS17和3DIRCADb两个数据集进行训练、验证与测试。首先分析消融实验部分，分别在两个数据集上进行消融实验分析。涉及的评价指标包括Dice系数、体积重叠误差(VOE)、相对体积误差(RVD)、平均对称表面距离(ASD)以及均方根对称面距离(RMSD)。
该研究中，基于LiTS17/3DIRCADb数据集的肝脏定量分割结果通过消融分析进行评估。其中，RIU-Net-I至RIU-Net-IV分别代表不同版本的Inception网络，这些结果在第二部分中进行了详细讨论。
下表是消融分析在 LiTS17/3DIRCADb 数据集上的肝肿瘤定量分割结果。
两个表的可视化结果对应下图，其中，红色区域对应肝脏区域，绿色区域对应肿瘤区域。
基于 VGGnet 框架的对比实验采用了 FCN、U-Net、R2U-Net、Attention U-Net 和 U-Net++ 网络。这些网络分别针对肝脏定量分割和肝肿瘤定量分割进行了评估。相较于其他方法，RIU-Net 在精度上具有显著优势，同时其结果的波动范围更为稳定。
该研究通过可视化分割结果对比展示了6种模型在LiTS17和3DIRCADb数据集上的性能差异。实验发现，在处理肝脏边界同时存在肿瘤与小肿瘤难分割的复杂场景时，本文提出的方法展现出显著的优势。具体而言，在处理肿瘤区域分割问题时，FCN、U-Net、R2U-Net和Attention U-Net等传统网络架构存在明显局限性，未能有效区分肿瘤与肝脏区域，且在分割肝脏边界时容易出现欠分割或过分割的问题。然而，U-Net++虽然能够识别出肿瘤区域，但其分割效果存在较大偏差，将大量正常肝脏区域误判为肝肿瘤区域。值得指出的是，在处理小肿瘤区域时，本文提出的方法表现最为接近金标准，分割结果的准确性显著优于其他方法。
在下图中，分别在LiTS17和3DIRECAb数据集上对肝脏和肝脏肿瘤的3D分割错误进行可视化分析。其中，红色区域表示明显的过分割错误，蓝色区域表示明显的欠分割错误，绿色区域则与金标准具有良好的一致性。
5 总结
这篇论文在保证精度的前提下，大幅降低了医学图像分割网络的参数规模。因此，训练和推理时间是需要我们重点关注的。通过对比分析，时间成本数据达到最低水平。
该论文构建了一种用于医学图像肝脏与肝肿瘤分割的网络架构，其核心创新点在于设计了一种既能提取多尺度图像信息又能在资源有限的情况下保持高效计算的轻量化网络结构。通过引入残差连接，结合不同分辨率的特征图，有效降低了模型过拟合的风险。在保持计算效率的前提下，将 U-Net 的卷积序列替换为 Inception 模块，不仅显著降低了参数量，还能更充分地提取图像特征。为解决传统网络在处理2D图像时无法有效利用切片间的空间信息以及3D图像对内存需求过高的问题，论文采用了2.5D输入形式，将相邻切片序列作为输入并生成与中心切片对应的分割图。此外，论文还进行了丰富的可视化工作，以更好地展示网络性能。
这是医学图像处理系列的第二篇阅读笔记，欢迎交流和纠正！