论文阅读笔记Segmenting Hyperspectral Images Using Spectral-Spatial Convolutional Neural Networks

论文阅读笔记Segmenting Hyperspectral Images Using Spectral-Spatial Convolutional Neural Networks With Training-Time Data Augmentation

论文地址：https://arxiv.org/abs/1907.11935
基于训练时间数据增强的光谱空间卷积神经网络分割高光谱图像

摘要：

高光谱捕获了物体在大量光谱波长波段的特征，能够得到物体的细节信息，在本文中，提出了一个新的光谱-空间卷积神经网络，得益于一系列的数据增强技术，帮助处理缺乏真实训练数据的问题。

引入：

高光谱图像（HSI）每像素捕获宽光谱的光，可以表示为三维张量，通常每个像素包含数百个反射率，描述底层材料的特征。（分类：为特定的像素分配类标签，分割：分别查找图像内对象的边界。）高光谱的分类和分割让我们能够理解捕获的场景。
自动分类HSI方法分为：传统的图像分析，机器学习技术和深度学习算法。先前的方法，输入数据经过特征工程过程，提取手工制作的特征并选择。深度学习让我们使用可用的训练数据从本质上学习嵌入式数据。用于高光谱分类网络分为三种：专门针对光谱或空间像素特征的进行的操作，耦合光谱和空间信息的操作。
结果表明，如果适当采取正则化，则通过具有大光谱和小空间感受野的核来集成光谱和空间特征有助于提高分类精度
有三种方法来处理有限的HSI真实标签的问题，在无监督分割中，不需要使用先验的类标签，输入数据被聚类到表现出相似特征的像素的相干区域。这些区域的类标签是未知的，它们需要进一步的后处理来解释分割结果。
迁移学习和数据增强适用于已标记的训练数据，并可用于训练或微调预先训练过的模型。迁移学习的目的是使用尽可能大且具有代表性的源数据集对网络进行预训练，并且通过通常是小得多的目标集进行微调，从而暴露测试数据的特征。数据增强技术要么遵循原始数据分布生成额外的训练数据样本，并将其纳入训练集中，去增强其代表性和大小，要么在推理过程中精心设计新的样本，以便在类似集成的分类引擎中获益。数据增强有效的应用于大容量学习从小样本进行训练，但在HSI分析中没有得到广泛的应用。
本篇论文中，我们引入了一种新的光谱-空间卷积神经网络，它结合了由其初始三维卷积层提取的光谱和空间高光谱像素特征。为了充分从光谱和空间维度的局部特征中获益，我们的内核保持的非常小，并在每个维度上以单位步幅进行移动，以有效的捕获细粒度的特征。我们的深度网络通过应用于3D高光谱patch 上的一系列数据增强操作而得到增强。
我们的方法

我们介绍了一种新的光谱空间卷积神经网络，它可以分为两个部分:由多个3D卷积层组成的3维卷积块；对输入的HSI像素h进行最终分类的分类块。。对于每个h，我们提取一个size为(px×py×pw)的周围的补丁P ，其中px、py和pw=B 表示其宽度、高度和深度(等于输入HSI中的条带数)，h位于他的中心。为了捕获细粒度的光谱空间特征，我们在每一层应用K=24内核大小（3×3×3），补丁大小为（7×7），因此px=py=7。这些核在所有维度上都以单位步幅移动。在网络的特征提取部分，我们利用零填充和校正线性单元(ReLU)作为非线性。每个级别的特征映射的数量保持不变，并等于内核的数量K=24。在内层中，将所有的3D核(K=24)与每个特征映射进行卷积，并将得到的中间特征映射(每个内核的K)汇总在一起，形成特定内核的最终映射。在模型的分类部分，利用了一个包含四个全连接层(ReLU激活)的密集块，其中包含512个、256个、128个和C神经元，其中C表示相应数据集中的类数。
由于模型的容量变得非常大（但可以通过应用较浅的密集块或其他监督学习者来降低），并且网络很容易过拟合训练数据，我们增加训练集，并使用旋转、翻转、缩放和对上述所有操作的随机混合生成合成训练patch，每个操作都应用相同的概率。由于增强是在patch级别执行的，所以我们提取更大的旋转patch,确保旋转的patch没有被裁剪，最终避免padding。这样的人工patch被附加到训练集中——我们最多将原始样本的数量增加一倍。在这种情况下，我们只增加了缺失的差异，以确保至少有一半的训练示例是原始的。
深度网络的训练一直进行到达到终止条件：经过了最大执行时间的时间，处理了epoch的数量，或者触发了早期停止（例如，损失值停滞为了给定数量的连续epoch），在本论文中我们将提前停止（15个训练阶段没有改善交叉熵损失值）与最大epoch数量相结合（在本工作中报道的所有实验中，我们将周期的数量限制在200个。
实验
我们的实验研究的目的有两方面。首先，我们将我们的三维卷积神经网络与文献中的另外两种光谱空间技术进行了比较：BASS深度网络和一种耦合深度网络与多特征学习相耦合的方法3D-CNN。其次，我们研究了我们的训练时间数据增强程序对深度模型能力的影响。

结论
我们介绍了一种新的光谱空间深度神经网络结构，该结构由卷积块和分类块组成，卷积块通过应用三维卷积层从输入HSI中提取特征，分类块执行最终分类。我们严格的实验研究和统计测试表明，该方法不仅在分类能力方面，而且在训练和测试时间方面，与文献中的其他光谱空间结构具有竞争力。虽然我们的网络在卷积块中使用小的3D内核，但实验表明它提供了实时推理。最后，我们证明了应用训练时间数据扩充来增强训练集的代表性可以显著提高底层深层模型的能力。