图像 pipeline_【图像分割】综述探究了未来研究方向

Title : Deep semantic image segmentation: A comprehensive review for natural and medical images

作者 ：Saeid Asgari Taghanakiy · Kumar Abhishek

发表单位 ：Simon Fraser University, Canada

发表于 ：2020 Artificial Intelligence Review

关键词 ：分割，综述

简明扼要地概括整理综述的基本情况主要采用简单的列举方式进行罗列这一工具具有一定的查找辅助功能可供参考的划分方式较为丰富涵盖范围广泛的 pipeline设计

0. Abstract

任务 ：语义分割，综述

主要将所有方法分为了6个类别：

• 基于网络结构设计的；

• data synthesis-based, 基于数据合成的

• loss function-based, 基于损失函数的

• sequenced models, 基于序列的模型

• weakly supervised, 弱监督模型

• multi-task methods，多任务模型

1. Introduction

医学影像有哪些模态？

X射线、可见光成像（如表皮学活检彩色图像）、磁共振成像（MRI）、正电子发射断层扫描（PET）、数字断层扫描（CT）以及超声波成像（如心脏超声图检查）。

主要将所有方法分为了6个类别：

• 基于网络结构设计的；

• data synthesis-based, 基于数据合成的

• loss function-based, 基于损失函数的

• sequenced models, 基于序列的模型

• weakly supervised, 弱监督模型

• multi-task methods，多任务模型

下面这张图画出了语义分割一般的pipeline：

2. 网络结构设计

• FCN (Long et al. (2015) )

• Encoder-decoder 类型的网络：

  • SegNet

  • U-Net

  • V-Net

  • 语义分割版的densenet (Jegou et al. ´ (2017) )

  • DeepLabV3+ (Chen et al., 2018b)

  • PSPNet

• 聚焦于降低计算复杂性的模型：

  • Depth-wise separable convolutions (Sifre, 2014; Chollet, 2017)

  • 使用NAS的：Liu et al. (2019a)，Chen et al. (2018a)

• 基于attention的模型：

  • non-local operation blocks

  • dual attention networks (Fu et al. (2019a) )

  • a pyramid attention based network (Li et al. (2018) )

• 基于GAN的模型：

  • Luc et al. (2016)

与医学图像相关的网络结构设计：

• 模型压缩

• 基于encoder-decoder的

• attention

• GAN

• 序列模型

这部分只是在举例子，并不够详细。

3. loss设计

• Cross Entropy

• Weighted Cross Entropy

• Focal Loss

• Overlap Measure based Loss Functions

  • Dice Loss / F1 Score

  • Tversky Loss

  • Exponential Logarithmic Loss

  • Lovasz-Softmax loss

  • Boundary Loss

  • Conservative Loss

基于overlap-based loss在训练过程中可能表现出不稳定性，在这种情况下建议采用cross entropy作为base loss component，并将基于overlap的部分设计为regularization term

通过比较两个较大尺寸物体与较小尺寸物体之间的loss差异, 实际上能够得出一定的稳定性特征, 并且这种分析方法适用于multi-scale analysis.

4. 数据合成

• 传统的几何变换、颜色增强等；

• 基于模型的，比如GAN

无甚新意，列举而已。

5. 数据集介绍

6. 未来展望

Skip connections have become widely prevalent, yet they transmit redundant features, raising concerns about their effectiveness in preserving meaningful information. How can we effectively condense information and introduce a filter mechanism into skip connections? Similar studies by Taghanaki et al. (2019c) suggest that optimizing the amount of data transferred through skip connections represents a promising research direction.

• 开发新的层以识别卷积无法捕捉到的独特特征。The approach is reminiscent of the radial basis function layers proposed by Meyer et al. (2018) and Taghanaki et al. (2019a). Future research directions may focus on developing innovative layer architectures that capture novel data characteristics beyond traditional convolution operations or alternative transformations of convolution features.

NAS, 另一个很有用的研究方向是在(Zoph and Le, 2016)中提出了一种方法来实现神经架构搜索（Neural Architecture Search），以寻找最佳的深度神经网络架构用于分割任务（Liu et al., 2019a；Zhu et al., 2019；Shaw et al., 2019；Weng et al., 2019b）。

*sequential model可用于视频领域，并且在三维数据处理上同样适用。相比之下,哪一种方法更为有效？

investigating the exploration of automatically optimized loss or search for regularization terms.

强化学习, 探索与Song等人（2018）以及Wang等人（2018c）采用相似方法相关的强化学习方法, 以实现对具有医学意义的语义图像分割任务的解决, 从而模仿人类识别并勾勒出感兴趣区域的过程

*研究对输入进行预处理而非对模型、损失函数以及增加更多训练数据。代替修改模型、损失函数以及添加更多训练数据。Drozdzal et al. (2018) demonstrated that incorporating a pre-processing module at the start of a segmentation network enhances its performance. The work by Taghanaki et al. (2019b) explored leveraging gradients from a trained segmentation network concerning its input to achieve enhanced accuracy in new spaces.

• 医学数据中多模态数据的综合利用。

在弱监督学习中确定合适的尺度至关重要。从图像级别的监督信号到仅少数图像的分割标注之间存在显著差异。大多数新型弱监督定位方法都采用注意力机制或区域建议器结合多实例学习框架进行设计。然而，在多实例学习中注意力机制容易引入噪声从而导致误判区域的选择。决定合适的窗口大小或袋大小对于改进多实例学习性能而言是一个非trivial的问题。