论文笔记：Progressive Semantic Segmentation

文章目录

• 论文题目：Progressive Semantic Segmentation（渐进式语义分割）

• 1.介绍

• 2.MagNet

• • 2.1Multi-stage processing pipeline
  • 2.2Refifinement module
  • 2.3MagNet-Fast

• 3.实验

• • 3.1 在Cityscapes dataset的实验
  • 3.2 在DeepGlobe dataset的实验
  • 3.3 在Gleason dataset的实验

---

论文题目：Progressive Semantic Segmentation（渐进式语义分割）

四个问题

要解决什么问题？

对高分辨率的图像，但是不能使GPU内存超载或丢失输出的分割图中的精细细节。

问题提出的动机

a.内存的限制意味着必须对高分辨率的图像进行降采样，这种方法的弊端会造成丢失细节；
b.将图像分成局部patches进行单独处理，这种方法由于缺乏全局图，可能会产生歧义。

提出了什么新的方法？

这篇文章提出了MagNet，一个多尺度的框架，通过在多个放大级别上观察图像来解决局部的模糊性。MagNet有多个处理阶段，其中每个阶段对应于一个放大级别，而一个阶段的输出被送入下一个阶段，进行粗到细的信息传播。每一阶段都以比前一阶段更高的分辨率分析图像，恢复先前由于降采样步骤而丢失的细节，并且分割输出通过各处理阶段逐步完善。

效果如何？
在 urban views, aerial scenes, and medical images的三个高分辨率数据集上进行的实验表明，MagNet的性能始终优于其他方法。

1.介绍

目前最先进的语义图像分割技术是基于深度学习，其中一个卷积神经网络（CNN）接受一个输入图像并输出一个分割图。然而，现有的大多数技术都假定整个分割过程可以通过对输入图像的单一前馈传递来完成，并且整个过程可以装入GPU内存 。遗憾的是，由于内存和其他计算限制，大多数现有技术无法处理高分辨率的输入图像。目前处理大型图像的方法有以下两种。
a.图像进行降采样；
b.将图像分成局部patches进行单独处理。
前一种方法会造成细节丢失，后一种方法由于缺乏全局图，可能会产生歧义。

解决上述两种方法的局限性的一种方法是将它们结合起来，即融合全局和局部分割过程 。一方面，整个图像的全局视图可以用来解决局部patches外观的模糊性。另一方面通过分析局部patches，可以细化分割边界并恢复由于全局分割过程中的降采样过程而丢失的细节。由于全局和局部比例之间有着巨大差距，很难完成。

本文从两者之间的多个尺度出发，引入了一个新的多尺度框架，这个框架可以整合全局背景线索来产生更精确的分割，并且它可以在内存限制下输出高分辨率的详细分割图。

2.MagNet

MagNet是一个多阶段的网络结构，网络的每一个阶段都对应着一个特定的尺度。
框架的核心是一个分割模块和一个细化模块，在每个阶段，细化模块的输入是两个分割图：前一阶段的累积结果和通过在当前比例下运行分割模块得到的结果。细化模块的目标是使用后一个分割图来细化前一个分割图。细化的位置是根据两个估计的分割图的不确定性确定的。只要它能输出带有不确定性估计的分割图，分割模块可以是任何分割骨干。细化模块与分割骨干无关；它可以用一个骨干进行训练，并在一个骨干上使用。

2.1Multi-stage processing pipeline

MagNet的结构和处理管道如下图所示：

在每一层，都有一个分割模块和一个细化模块。每一层的工作流程

1. 提取由窗口p定义的图像patch Xsp和先前的分割输出Yps-1。这些张量的高度和宽度是hs和ws。
2. 对Xsp和Yps-1进行降采样，使新的高度和宽度为h和w，这是可以装入GPU内存并被分割和细化模块处理的大小。让¯Xsp和Y¯s-1p表示降采样的张量。
3. 以¯Xsp为输入，使用分割模块获得特定尺度的分割图¯Osp。
4. 以Y¯ s-1 p和¯Osp为输入，使用细化模块对Y¯ s-1 p进行细化。得到Y¯ sp。
5. 对Y¯ sp进行上采样，得到大小为hs×ws×C的Yps。

2.2Refifinement module

细化模块的工作流程如下图所示：

它被用来在每个处理阶段完善分割图的单个patch。管道的每个处理阶段对分割图的各个斑块进行细化。该模块的输入是两个大小为h×w×C的分割图：来自以前所有比例的累积分割图Y和来自当前比例的比例特定分割图O。该模块的输出是更新的标度累积分割图。
它包含以下步骤。

1. 使用一个小型网络，以Y和O作为输入，我们得到一个初始的组合分割图R。
2. 计算预测不确定性图。具体来说，对于Y的每个像素，在这个位置的预测置信度被定义为最高概率值与第二高概率值之间的绝对差值（在C类的C个概率值中）。
3. 根据置信度得分计算出不确定性得分，使这两个分数必须加起来为1。
4. 同样地，我们可以计算R的预测不确定性图。Yu和Ru表示Y和R的不确定性图。
5. 接下来，我们将描述如何使用两个不确定性地图来选择Y的k个位置进行细化。用于对像素进行排名的分数图的计算方法是为Q = F(Y u. (1 − Ru ))，F表示中值模糊来平滑分数图。

2.3MagNet-Fast

框架在准确性和运行效率之间存在着权衡。减少运行时间的一个方法是减少要处理的尺度的数量。另一种方法是在每个尺度级别的图像patches的子集上进行分割和细化
MagNet-Fast结合了这两种方法，当它在较少的尺度上运行时，并且只选择预测不确定性最高的斑块Yu进行细化。此外，MagNet-Fast可以利用全局信息和细节信息进行分割，从而获得更好的结果。

3.实验

数据集：城市景观、航空场景和医疗图像

评估指标：mIoU

3.1 在Cityscapes dataset的实验

1.多个尺度层次的好处

上图显示了不同数量尺度的MagNet的结果。在最小尺度和最大尺度之间增加两个中间尺度则性能提高了4.34% mIoU。
2.多个分割方法的比较

可以看出，不管是MagNet-Fast还是MagNet，其mIoU都是领先其他方法的。

mIoU分布情况如上图所示。在MagNet和其他方法之间存在着很大的差距。特别是当观察放大的窗口时，差距很大。
3.Ablation study: 选点

初始分割的mIoU为63.23%。该框架在使用Yu和(1-Ru)的平滑操作时，框架取得了最佳性能。

3.2 在DeepGlobe dataset的实验

在DeepGlobe dataset的实验中使用FPN作为分割方法。backboneMagNet和MagNet-Fast的表现都优于其他方法。

3.3 在Gleason dataset的实验

在Geason dataset的实验中使用PSPNet作为backbone。MagNet与PSPNet的分割骨架一起运行，它将PSPNet的性能提高了1.7%。优于其他方法。