3D点云分割论文之PointGroup:Dual-Set Point Grouping for 3D Instance Segmentation

目录

前言

一、Abstract

二、Introduction

1.挑战

2.应用领域

3.新的方法

4.贡献

三、我们的方法

1.总体思路

2.主网络

3.聚类方法

4.ScoreNet

总结

---

---

前言

实例分割对于场景识别而言是重要的一个任务，相比已经成熟发展的2D而言，3D点云实例分割有着很大的发展空间。

本文介绍一下PointGroup这个新的网络架构，文章来自于2020年的CVPR。

---

一、Abstract

PointGroup：一种新的端到端自底向上的框架。

分点方法：利用对象之间的空白空间。

步骤：一、设计一个提取点特征的网络分支和预测语义标签和偏移向量的网络分支。

二、通过移动每个点至实例的相对质心的位置，用于更好的聚类。

三、聚类模块中包含着原始坐标集和偏移坐标集，利用两种坐标的各自优势，作为聚类算法的输入。

四、通过ScoreNet评估候选实例。

五、通过NMS删除重复项。

效果：在数据集ScanNet v2和S3DIS数据集中，获取到最好的表现，达到了63.3%和64%，高于54.9%和54.4%（之前最好的方法）。

二、Introduction

如上图数据集ScanNet v2实例分割结果

1.挑战

1. 预测语义标签，同时需要场景中的每个对象实例ID。
2. CNN可以提高二维实例分割的性能，但是3D点云是无序的并且无结构的。

2.应用领域

1. 自动驾驶
2. 机器人导航

3.新的方法

特点：3D对象之间空隙空间以及语义信息来更好分割

1. 利用语义分割框架来提取并预测每个点的语义标签。
2. 偏移分支用来学习相对偏移，以将每个点移至各自实例对象质心。
3. 使用聚类方法聚类
4. 以坐标为参考，对相同标签的附近点分组，然后逐步扩展该组。
5. 在分割过程中考虑结合原始坐标点集和偏移坐标点集的优点。
6. 设计ScoreNet来评估和候选聚类结果。
7. 使用NMS删除重复组。

4.贡献

1. 提出了自底向上的3D实例分割框架PointGroup。
2. 提出了基于双坐标集的点聚类方法,并用ScoreNet方法评估。

三、我们的方法

网络架构

1.总体思路

1. 点云作为输入，输入参数为RGB颜色信息与xyz坐标信息。
2. 经过由SSC流形洗漱卷积和SC洗漱卷积搭建而成的U-Net网络，先进行体素化，最终得到每个点点特征向量F(NxK)，K为通道数。
3. 通过两个分支，一个是语义分割分支，得到{Si}语义标签。另一个分支是预测偏移向量分支，得到{Oi}偏移向量。
4. 每个点原始坐标对应与点的偏移量向量相加后求得位移坐标。
5. 原始坐标和偏移坐标分别作为输入，并利用对象之间的空白空间将点分组成实例簇，将彼此接近的点归为同一聚类。
6. 求聚类簇p与簇q的并集。
7. 并集的结果通过ScoreNet评分得到M个簇的得分向量Sc(MX1)。
8. Sc与并集经过经过最大化抑制NMS删除重复项，得到最后的实例分割结果。

2.主网络

• 语义分割分支

1. MLP应用于特征向量F，用于生成语义评分向量Sc中。
2. 通过交叉熵损失Lsem来对结果进行正则化。
3. 预测的语义Si对于点i是得分最高的那个类别。

• 偏移预测分支

1. 对特征向量F进行编码，对于属于同一实例的点，我将它们的学习偏移量通过 L1​回归损失约束为:
2. m={m1​,...mN​}是二进制掩码；如果点i在实例上，则mi = 1；否则， m i = 0；
3. g(i)将点i映射为其对应的真实实例的索引，即包含点i的实例。
4. Ng(i)​是实例Ig(i)​中的点数。
5. ci​是点i所属实例的质心。其实就是对实例的每个点加权求和再取均值就是质心点坐标。

3.聚类方法

1. 输入参数聚类半径r;聚类点的阈值Nθ；原始坐标和语义标签。
2. 输出是聚类C={C1,C2...Cm}。
3. 算法一开始先不考虑墙类别，然后遍历所有的邻域点。
4. 采用的是深度优先遍历算法的思想，当标签相同，并且邻近，就归为一个簇C。

4.ScoreNet

• 左图是对于M个簇，其中每个簇都结合对应的特征向量和坐标信息

1. 进入scoreNet主网络，先进行体素化处理
2. 每个体素的特征均与该体素中点的初始特征进行平均池化。
3. 然后输入带有SSC和SC的U-Net网络中，以进一步编码功能。
4. 最大池化，对于每个聚类产生单个聚类特征向量 f C i ∈ R （1 × Kc） 。
5. 最终聚类得分
6. 
7. 为了保证分数中聚类的质量，使用软标签代替二进制0/1标签来监督预测聚类得分
8. 
9. θl​和 θh​分别设置为0.25和0.75。
10. 是簇Ci​和真实实例之间最大的联合交集IoU。
11. 二元交叉熵损失作为得分损失
12. 总损失：

• 右图距离分布图给出了ScanNet数据集中此类距离分布的统计分析。

1. 因为不同类别的不同对象大小不同，难以回归精确的偏移量，尤其是对于大型对象的边界点，因为这些点距离实例质心相对较远。（书桌，床之类的）

四.实验结果

---

总结

1. 提出自下而上用于3D实例分割框架PointGroup，通过探索对象实例之间的空间和点语义标签来更好地对点进行分组。
2. 设计了一个两分支网络以分别学习点语义标签和点偏移向量，以将每个点移向其各自的实例质心。
3. 基于原始点坐标和偏移位移的点坐标对点进行聚类。结合了两个坐标集的互补优势，以优化点分组精度。
4. 引入了ScoreNet来学习评估生成的候选聚类，然后引入NMS以删除重复，再输出最终的预测实例。