【论文阅读】Semisupervised Multiscale Generative AdversarialNetwork for Semantic Segmentation ofRemote S

1. 本文贡献

许多方法都取得了令人惊叹的效果，但它们需要大量的标记图像来区分遥感数据集中小目标在角度、颜色、大小等方面的差异。然而，由于标记图像较少，难以提取小目标的关键特征。本文提出了一种半监督多尺度生成对抗网络（GAN），该网络不仅利用多路径输入和空间金字塔池（ASPP）模块，而且利用未标记图像和半监督学习策略，在标记数据量较小的情况下，提高了语义分割中小目标分割的性能。

2. 方法详解

2.1 网络结构

2.2 生成器

为了更好地探索多尺度上下文信息，本文在生成模块上应用了多路径输入结构。在生成器中有四个块，块与 ResNet 中的块相同，模型也按照 ResNet101 进行了修改。每个块有两个 3 × 3 的卷积，步幅为1。利用图像池获取图像级特征，对图像级特征进行全局均衡和卷积组合。对于输入图像，每个图像通过调整大小可以得到三种不同大小的图片。

速率个数为 {1,6,12,18}。卷积块可以提取步长为 1 的图像的全局特征和步长为 {6,12,18} 的不同局部特征。

最后将五个特征合并在一起，有效融合的不同层次的语义分割特征可以映射到原始高分辨率的分割信息上。通过多径输入，加入三种尺寸图像的特征进行进一步融合，将不同尺寸的特征映射到原始图像的分割信息中。给定一个 H × W × 3 维的图，从生成器网络中可以得到 H × W × C 的概率图，其中C为语义类别的个数。

采用不同的尺度图像作为独立的网络模型输入，得到每个尺度图像的特征。对图像的每个局部区域进行分类，得到一个粗略的小尺度分割图像，通过上采样得到的分割结果与原始图像大小相同。然后，本文使用 GAN 增强小目标的特征学习。

2.3 判别器

判别器网络以预测图作为输入，判别器网络的输出是置信度图。置信图表示每个像素 P 是否真正被标记或生成。与典型GAN不同的是，本文的鉴别器可以接受任何大小的输入图像。它包含五层，除最后一层外，每一层都有 leaky-relu，内核为 4 × 4，通道数为 {64,128,256,512,1}。

对于模型训练过程，本文将数据集分成两部分：一部分是标记数据，其余是未标记数据。当使用标记数据时，模型由带有标签映射的 和带有鉴别器网络的 训练。对于未标记数据，采用半监督方法对模型进行训练。

在对带标签数据的网络进行训练得到置信度图后，我们将该置信度图作为后续分割的准则，对未带标签数据进行 训练。该置信图表示分割网络在训练过程中可以依赖的预测分割区域。

3. 实验

本文使用 CCF2015 数据集，并采用平均交联（MIOU）作为语义分割的标准度量。

结果表明，与有监督方法相比，本文的方法在小数据集上更显着。与半监督方法相比，本文基于 ASPP 模块的单路径模型比提高了 1%-4% 的 MIOU。多路径模型比提高了约 2% 至 7% 的 MIOU。

当数据量为 1/8 和 1/4 时，这是一个显着的改进。可以看出，本文的多路径模型比单路径模型可以获得 0.91%-5%的 改进。