【论文阅读笔记】《PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space》

Ultralightweight Enhancements to the PointNet++ Framework: Ultrahierarchical Feature Learning within Point Sets in a Degree-Metric Space.

Qi C R, Yi L, Su H, et al. Pointnet++: A method for deep hierarchical feature learning on point sets within a metric space[C]//Advances in neural information processing systems. 2017: 5099-5108.

循环使用Point Net 实现类似CNN的特征逐层提取机制。

网络结构如下：

每一个abstraction level 包含三层：

在采样层中，我们基于迭代最远点采样法（FPS）确定了组中心点的位置。

Grouping layer:使用ball query 方法寻找每一个Group中的点成员。

输入：N×d+c 输出：𝑁′×𝐾×𝑑+𝑐。

PointNet layer:使用PointNet提取每一个Group点云中的特征。

输入：𝑁′×𝐾×𝑑+𝑐 输出：𝑁′×𝑑+𝐶′

点云深度网络存在的问题：非均匀分布特性。在某些区域中存在较低的点云密度，在这些高密度区域习得的经验或特征难以有效迁移至低密度区域。由于提取特征的过程难以实现权重共享机制（weight-shared），导致难以统一地提取共同特征。

为了使网络有效的适应这个问题，将PointNet layer的结构作如下改进：

提出了两种自适应的多尺度/多分辨率的特征提取方法。

MSG, 如图3a所示, 每个抽象层将PointNet应用于多个尺度的点云分组, 最终对不同尺度的特征向量进行拼接。

使用随机输入丢弃机制对训练样本中的数据点执行去除操作，在经过这些去除非异常数据的训练样本后，可以使神经网络学会一个最优的多尺度特征组合策略。

采用如图3.(b)所示的方式进行处理

采用随机输入丢弃（Random Input Dropout）策略对网络进行训练时，能够显著地组合多尺度特征；而与MSG相比，在参数数量上更少且效率较高的Msg策略

Point Feature Propagation 策略

采用基于距离反比的空间插值方法，在逐级的过程中依次恢复点云各层次的特征信息。将插值所得的结果与特征提取过程对应层级的数据相结合后，在后续步骤中实现对融合后的数据序列展开系统性分析。接着将经过融合后的特征输入到unit Pointnet模型中进行深度学习分析。

插值的公式如下，使用离目标点最近的k=3个点的特征插值，p=2。

实验显示，

对于classification：

相较于PointNet而言，在非均匀分布点云处理方面表现出色，并且其分类精度达到90%以上

对于semantic scene labeling：

MRG与MSG显著提升了网络对Non-uniform点云的robustness；其中MSG策略能够显著提高网络对Non-Uniform点云的robustness。

其中SSG采用单尺度PointNet++架构，在对比均匀分布点云数据时，其针对非均匀分布数据场景标签化的准确率较之提升了不足10%。

Feature Visualization：

由于在家具数据集上的训练而习得该模型能够识别一些基本几何元素如平面线和角落等其作用包括支撑表面划分空间以及构成物体的基本骨架等