PointDSC: Robust Point Cloud Registration using Deep Spatial Consistency论文笔记

一．四个问题
1.如何解决相关问题？
度量空间存在不完善之处（即对应关系中包含误配点对），同时室内外环境中的相似场景及噪声干扰都会导致误配点对难以准确识别。因此，在特征提取的基础上进行对应关系优化处理是提升 registration 效率的关键步骤之一。

在本文中, 作者开发了一种新型深度神经网络模型, 特别注意利用了空间一致性的特性来进行outlier correspondence的有效剪枝. 该模型首先创建了一个融合特征与空间一致性的非局部特征聚合模块, 将输入对应关系中的点特征信息进行编码. 然后在此基础上设计了一个可微分化的谱匹配机制, 利用嵌入的特征评估其作为inlier correspondence的可能性, 并通过点对间的空间一致性作为监督信号进行优化.

效果如何？

二．论文概述
1.PointDSC

在这项工作中，我们考虑了来自一对部分重叠的三维点云的两组稀疏关键点X∈R|X|×3和Y∈R|Y|×3，每个关键点都有一个相关的局部描述符。输入假定的对应集C（correspondence），每个对应c∈C表示为ci=(xi，yi)∈R6，其中xi∈X，yi∈Y是两集中的一对三维关键点的坐标。我们的目标是为ci找到一个inlier/outlier的标签。
PointDSC主要由三个模块构成，一个是空间一致性特征引导的非局部几何特征提取模块SCNonlocal Module；可微分的谱匹配模块；最后是用于解决低重叠率情况的seed机制，类似RANSAC，选取多个置信度高的种子与其领域作为子集，求解R，t。选择全部点云下目标函数值最小的R与t。
具体流程：
（1）使用SCNonlocal模块将输入的对应关系嵌入到高维的几何特征中。
（2）估计了每个对应关系ci的初始置信度vi，以选择有限数量的高置信度的ci作为seed。
（3）对于每个seed，我们在特征空间中寻找它的k个最近邻，并进行神经谱匹配来获得其是inlier的新的置信度。置信值被用计算每个种子的刚性变换矩阵transformation。
（4）从所有的假设（每一个seed都会产生一个transformation假设）中选择最好的变换矩阵（包含最多inlier ci的变换矩阵）。

1.1Geometric Feature Embedding

我们的网络初始模块命名为SCNonlocal模块，在输入端接受一个大小为N×6的对应关系矩阵C，并对该矩阵中的每一个元素ci生成一个特征fi。该模块的作用主要体现在两个方面：首先用于后续的种子选择（seed selection），其次用于光谱匹配（spectral matching）。

在网络架构中，SCNonlocal Module包含了12个模块，在每个模块内部都集成了一个共享感知机制、批量归一化激活函数以及一个非局部操作层。具体而言，在该模块的非局部操作层中采用了与nonlocal net相似的设计，并通过特征相似性计算出对应的注意力权重（α），随后将相邻位置的特征映射值（g(fi)）叠加到原始特征fi上以增强信息融合效果。

其中α被定义为非局部性系数，在基于提取特征的点乘相似度（nonlocal）的基础上计算得出；另一方面地而言之，则β被视为空间一致性系数，并通过以下公式确定：

正项[⋅]^+被定义为\max(⋅,0)操作。σd作为距离参数，在衡量参数对距离变化敏感性方面起着重要作用。
在inlier之间特征相似度较高且outlier之间特征差异显著的情况下，则β值越大反映出inlier的空间一致性越强。

1.2 种子选取
基于之前提到的问题，在数据集中存在较多离群点时,inliers无法占据主导地位,从而影响聚类效果.为此,作者提出了一种称为Seed Selection策略的方法.该策略具体而言,首先通过SCNonlocal算法提取样本点的特征fi,并将这些特征输入到MLP网络中进行处理,从而计算得到每个样本点ci对应的初始置信度vi.随后利用非极大值抑制方法筛选出具有良好分布特性的种子点,并将其选为具有较高置信度作为种子进行聚类.

基于上述seeds，在特征空间中执行K近邻搜索以生成多个子集。
对于每个子集而言，请遵循SM算法的思想步骤构建其对应的图结构。
由于inliers能够维持良好的空间一致性；因此它们更容易形成具有较强连接性的集群；而outliers与其他对应点之间建立如此强大的连接的可能性则相对较低。
如上文所述；因此我们可以将针对inlier和 outlier 的分类问题转化为在这些图结构中寻找主要集群的问题。

相容性矩阵按如下等式构建：

fi和fj分别代表经过L2范数正则化的特征向量；σf类似于先前的σd，在基于特征空间的情况下由网络自身学习。
基于特征空间的距离度量参数与其对应长度一致性距离参数的乘积，在某种程度上等同于在构建兼容图时整合了两种信息。
此时可以通过评估点与main cluster之间的关系来计算其成为inlier的概率。
随后采用幂迭代算法进行特征值分析的过程是可微分的；通过这一过程求解得到兼容矩阵M的主要特征向量e（即主特证向量），由于main cluster是由统计意义上的inliers构成的，在此情况下每个主特征向量元素都反映了对应关系的信任度。随后使用奇异值分解（SVD）来计算：

在若干的seed及其构成的子集得到的若干R,t中，先通过：

选取最优参数组合R,t，并基于选定的该组R,t以及设定好的阈值τ，在每一对对应点中对每个对应关系进行outlier与inlier的身份标识。随后，在所有被确认为inliers的数据样本上进行一次奇异值分解(SVD)运算以优化计算结果，并进一步地更新该组最优参数组合直到满足收敛条件为止。最终获得优化后的变换矩阵及其对应的匹配结果

1.4Loss Formulation

1.4.1Node-wise supervision

1.4.2Edge-wise supervision