Advertisement

MVX-Net: Multimodal VoxelNet for 3D Object Detection

阅读量：

请添加图片描述
论文
代码

问题以及创新点

同样是在VoxelNet的基础上做了进一步改进

问题

  1. 直接3D点云的方法，对资源要求比较高
  2. RGB图像具有更丰富的特征，但在预测深度等存在精度较差的问题
  3. 当前融合的方法，多是在后期融合，是得场景融合收到限制

创新点

  1. 融合RGB以及点云进行综合的检测
  2. 在网络早期进行特征融合

网络架构

整个网络走了两个不同的pipeline，一部分通过Faster-RCNN提取RGB特征信息，另一方面通过VoxelNet提取3D点云特征。并且提出了两种点云融合的方法，PointFusion以及VoxelFusion。

PointFusion

请添加图片描述
PointFusion 针对voxel中每个点进行特征融合，在原始每个点7维特征(x_i,y_i,z_i,r_i,x_i-v_x,y_i-v_y,z_i-v_z)的基础上添加了16来自RGB的特征信息。这种方法使得原始的点云包含了更丰富的RGB特征，但同样由于每个点特征的增加是得后续VFE特征提取阶段需要更多的计算资源。

VoxelFusion

请添加图片描述
相比于PointFusion,VoxelFusion的融合阶段不再是针对每个voxel中的点，而是针对VFE层提取的每个voxel的整体特征上。这在一定程度上减少了计算资源。

实验结果

请添加图片描述

KITTI Val set

请添加图片描述
实验中可以看到，在3Ddetection部分相比基础baseline VoxelNet提升还是比较显著的，而基于PointNet为每个点赋予了更丰富的RGB信息，结果提升还是比较明显

KITTI Test

请添加图片描述

全部评论 (0)

还没有任何评论哟~

相关文章推荐

MVX-Net: Multimodal VoxelNet for 3D Object Detection

论文 代码 问题以及创新点 同样是在VoxelNet的基础上做了进一步改进 问题 1.直接3D点云的方法，对资源要求比较高 2.RGB图像具有更丰富的特征，但在预测深度等存在精度较差的问题 3.当前融...

VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection(VoxelNet模型)

图2.3.1高效实现总概括

VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection

论文： 在3D点云中准确检测对象是自主导航，客房服务机器人和增强/虚拟现实的中心问题。为了将高度稀疏的LiDAR点云与区域提议网络（RPN）进行接口，大多数现有工作都集中在手工制作的特征表示上，例如鸟...

【论文解读】VoxelNeXt: Fully Sparse VoxelNet for 3D Object Detection and Tracking

VoxelNeXt 摘要 引言 方法 SparseCNNBackboneAdaptation SparsePredictionHead 3DTracking 实验 结论 摘要 3D物体检测器通常依赖于...

论文记录VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection

1解决的问题 体素化的方式处理点云 2文章内容 2.1FeatureLearningNetwork VoxelPartition:将3D空间D×H×W划分为D'×H'×W'，假设设置的voxel的大小...

【3D目标检测】VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection解读

文章目录 前言 摘要 1\.介绍 2\.VoxelNet 3训练细节 4\.结果 5\.总结 前言 1\.为什么要做这个研究？ 以往的3D检测应用LiDAR数据或是投影到某个视角，或是对3D体素手工提...

【多模态融合】IS-Fusion: Instance-Scene Collaborative Fusion for Multimodal 3D Object Detection

论文链接：ISFusion:InstanceSceneCollaborativeFusionforMultimodal3DObjectDetection 代码链接：<https://github.co...

3D Object Proposals for Accurate Object Class Detection

ICCV20153D物体候选区域提取，自动驾驶中的物体检测的前一个步骤 Ourcodeanddataareonline:<http://www.cs.toronto.edu/˜3dop 暂时还不能访问...

Object-Centric Stereo Matching for 3D Object Detection

论文链接：<https://arxiv.org/abs/1909.07566 KITTI的定性结果：GroundTruth（GT）和预测分别用红色和绿色表示。彩色点是本文的立体匹配网络预测，而激光雷达...

MLCVNet: Multi-Level Context VoteNet for 3D Object Detection

对于输入的3D点云，像2D一样使用一个boundingbox去将相应的物体包围起来，不过这里使用的boundingbox也同样变成了3维的。 研究了什么 是对三维目标的检测，准确来说，是加入了对上下文...