【点云识别】Learning to Segment 3D Point Clouds in 2D Image Space (CVPR 2020)

Learning to Segment 3D Point Clouds in 2D Image Space

本文是对CVPR 2020上关于点云部件分割这一领域的综述性文章。

1. 问题

相较于2D U-Net的架构设计，在3D点云上的部件分割方面尚未取得显著进展。因此该研究通过将三维点云投影至二维空间并应用U-Net架构进行分割操作其效果可圈可点

2. 思想

整体流程就是以下三步

• 从点云数据中构建或生成图。
• 应用投影技术（如图绘制）将3D结构映射到2D图像。
• 使用U-Net架构实现点云数据的处理与标签化。

第一步是将来自shapent或partnet的数据集中的2048个点划分为32个类别组；随后将这些类别中心分配至一个16×16网格；接着对每一组属于同一类别的一组点进行进一步处理；最终生成了一个分辨率更高的图像

3. 算法

3.1 Graph Construction from Point Clouds

先使用kmeans算法进行聚类，对形成的各个类别内再进行建图。

考虑到k-means算法生成的类别可能存在分布不均的问题，并为此研究团队设计了一种改进型聚类算法，并致力于实现各子类群数据点数量的均衡分配。（因为物体通常由均匀对称的单元构成）

在本文中采用Delaunay triangulation 方法实现建图过程，并与传统KNN建图方法相比而言。该方法的主要优势体现在其构建过程的高效性。

• 通过全网优化提升用户体验
  • 每个节点之间的信息传递实现了高度互联
  • 网络中的连接数量通常较为有限

3.2 Graph Drawing: from Graphs to Images

将图中的顶点运用于grid表面，并同时确保其拓扑结构得以保留。
因此，我们可以将其建模为一个integer programming (IP) 问题。

3.3 MultiScale UNet for Point Segmentation

作者在这里贴出了几个对比实验，证实多尺度的U-net是最合适的结构。

4 实验结果

遥遥领先的分割精度，可谓是难寻对手！

总结

开创性突破使该领域在3D part segmentation方面的表现达到新的高度。
通过这一创新方法使得将三维问题转化为二维变得切实可行。
预见到未来人们将能够更加有效地迁移二维领域的知识到三维问题中去。

我也认识到，在3D领域获得显著进展，则需打下扎实的基础！这篇关于hieracical的文章与之前阅读的其他作品相似，在图形学知识体系上进行了创新性改进，并取得了显著成果！而经验与积累始终扮演着至关重要的角色！