PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection

(https://github.com/open-mmlab/OpenPCDet.)

### 问题以及创新点

#### 问题

  1. Voxel的方法由于对原始点云做了预处理，虽然能够更有效的提取候选区域，但不够准确
  2. 基于点云的方法，相对位置更加准确，但内存消耗比较大

#### 创新点

  1. 充分利用两种方法的优势，通过voxel有效地获取目标候选区域，通过点云对坐标位置进行更精准的refine。

### 网络架构
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-02-03/PwuES9aVnD8QZ5Jsp6Bv7OmRefUq.png)  
整个网络包含了两个分支。  
上分支：

 - 原始点云
 - 体素化
 - 3D Sparse convolution提取特征，并完成1×,2×， 4× ，8×下采样。
 - 转化为鸟瞰图
 - RPN预测 3Dbbox

下分支：

 - 分别以原始点云，以及各层下采样的提速化，BEV作为输入
 - 通过PointNet++ 中 Set Abstraction modue 针对性提取点云特征。将Sparse Convolution主干网络中多个scale的sparse voxel及其特征投影回原始3D空间，然后将少量的keypoint (从点云中sample而来) 作为球中心，在每个scale上去聚合周围的voxel-wise的特征。

#### Predicted Keypoint Weight
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-02-03/JFBmNduiDwApybL2M78KetTzjoQx.png)  
由于经过Voxel提取的keypoints可能分布在背景中，正通过attention的方法，调整前景以及背景的权重

#### RoI-grid Pooling via Set Abstraction
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-02-03/BaKpMqoYEISWJUjAlz8dQfbGc41i.png)  
在每个RoI里面均匀的sample一些grid point，然后将grid point当做球中心，去聚合周围的keypoint的特征

### experiments
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-02-03/NvTCDkpqG4fUcVxgywl2mKBROtJd.png)

MMLAB 自己介绍的文章:https://zhuanlan.zhihu.com/p/148942116