【论文笔记】【点云分割】2018_PointSIFT：A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation
PointSIFT：A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation
0. Summary
本文提出了pointSIFT方法，通过PointSIFT和PointNet++相结合构建了网络结构。PointSIFT借鉴了SIFT的思想，在空间上进行八个方向的临近点查询，并进行xyz方向的卷积得到空间特征，并在实验部分比较了S8N和ball query的区别
1. Research Objective
- 解决点云空间信息及多尺度信息的提取问题
- 处理稀疏点云的语义分割问题
2. BackGround and Problems
点云的无序性、刚体转换不变性被PointNet解决，点与点的联系被PointNet++解决
3. Method(s)
Main idea:
PointSIFT+Set Abstraction(pointnet++)
a hierarchical architecture that recursively applies the PointSIFT module as local feature descriptor.
PointSIFT
Orientation-encoding
采样层：点云中每个点都进行邻近搜索
分组层：对八个方向进行最近点搜索，搜索到八个临近点
特征提取层：三个方向xyz进行卷积
Overall Architecture
4. Evaluation
通过替换pointnet中的ball query验证了S8N的有效性，验证了Scale Awareness的有效性（没看懂怎么验证的）。
给出了ScanNet和S3DIS上的结果
5. Conclusion
我们提出了一个新的PointSIFT模块，并在标准数据集上展示了对语义分割任务的显著改进。该模块具有两个关键特性:第一，方位编码单元捕获不同方位的信息。第二，PointSIFT模块的多尺度表示能够处理各种尺度的对象。此外，基于PointSIFT模块，提出了一种有效的端到端点云语义分割体系结构。我们还进行了全面的实验来证明所提出的PointSIFT模块的有效性。
6. Notes
在文中的xyz卷积上一开始没看懂，这里简要说明一下：
首先，可以从图3©中看到，整体的 V 的大小是2x2x2，在中心点附近会搜索八个方向的临近点，每个方向会搜索到一个，每个点会有d维特征，因此， V 加上特征后就是2x2x2xd。
Wx∈ R2×1×1×d, Wy∈ R1×2×1×d, Wz∈R1×1×2×d
以Vx为例，V和Wx的卷积就像图中的标有部分绿色的立方体，抛开d维特征（通道），Wx就是2x1x1，也就是像绿色长方体一样的卷积核，随后在大立方体（八个小块）上卷积，得到右侧四个小块的结果，即1x2x2，即Vx的前三维维数。