Advertisement

Spot-Compose A Framework for Open-Vocabulary Object Retrieval and Drawer Manipulation in Point Cloud

阅读量：

文章目录

  • 概述

  • 论文解读

    • 方法架构
    • 实验

  • 代码初读

概述

accepted：Arxiv
项目主页
文章解读参考：

论文解读

在这里插入图片描述

方法架构

a comprehensive framework for robotic interaction and manipulation
3D reconstructions from a commodity 3D scanner for open-vocabulary instance segmentation , alongside grasp pose estimation

  • 三维数据的获取：iPhone 13 Pro Max using the 3D Scanner App [39]
  • Open-vocabulary 3D Instance Segmentation开放词汇3D实例分割：OpenMask3D [11]
  • 自适应抓取：AnyGrasp system [31]
  • Adaptive navigation and joint optimization
  • Dynamic drawer detection and motion estimation：三个部分drawer and handle detection, estimation of the axis of motion, and actual grasp planning
    抽屉和门把手检测 ：基于RGB图像检测，YOLOv8[41], DoorDetect dataset [42]
    运动轴估计
    Refinement and impedance-based pulling

实验

Boston Dynamics Spot [37] robot
进行(1) grasping, and (2) search两个实验
inference硬件，NVIDIA RTX 4090 GPU

代码初读

项目仓库
看起来代码完整性还比较高

全部评论 (0)

还没有任何评论哟~

相关文章推荐

Spot-Compose A Framework for Open-Vocabulary Object Retrieval and Drawer Manipulation in Point Cloud

文章目录 概述 论文解读 方法架构 实验 代码初读 概述 accepted：Arxiv 项目主页 文章解读参考： 论文解读 方法架构 acomprehensiveframeworkforrobotic...

论文阅读4 OpenSight: A Simple Open-Vocabulary Framework for LiDAR-Based Object Detection

1、介绍 本论文翻译为《OpenSight：一种简洁的基于激光雷达的开放词汇物体检测框架》，提出了在激光雷达LiDAR数据上进行开放词汇表openvocabulary物体检测的问题。传统基于激光雷达的...

OpenSeeD:A Simple Framework for Open Vocabulary Segmentation and Detection代码复现

OpenSeeD：ASimpleFrameworkforOpenVocabularySegmentationandDetection这篇工作发布在2023年的ICCV上，这是一个简单的开放词汇分割和检...

OPEN-VOCABULARY OBJECT DETECTION VIAVISION AND LANGUAGE KNOWLEDGE DISTILLATION

通过视觉和语言知识提炼进行开放词汇的物体检测 摘要 1.我们的目标是推进开放词汇的物体检测，它可以检测由任意文本输入描述的物体。 2.根本的挑战是训练数据的可用性。现有的物体检测数据集只包含数百个类别...

[论文笔记（1） CVPR2020] Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud

PointGNN:GraphNeuralNetworkfor3DObjectDetectioninaPointCloud 论文： 代码： 摘要 简介 相关工作 在网格中的点云 点集 图中的点云 Poi...

[论文阅读] SPOT: SE(3) Pose Trajectory Diffusion for Object-Centric Manipulation

用于以对象为中心的操作的SE3位姿轨迹扩散模型 1英伟达公司 2德克萨斯大学奥斯汀分校 3加利福尼亚大学圣地亚哥分校 摘要 我们介绍了SPOT，这是一个以对象为中心的模仿学习框架。其核心思想是通过以对...

【RSICRC】Towards a multimodal framework for remote sensing image change retrieval and captioning

摘要 最近，将文本与其他模式（如图像、音频和视频）集成的多模态应用程序越来越流行，目前，仍缺乏对遥感数据等特定数据模式的研究，现有的解决方案主要是分类、字幕和检索，这些解决方案往往忽略了遥感数据的特性...

【点云系列】 A Rotation-Invariant Framework for Deep Point Cloud Analysis

文章目录 1\.概要 2\.动机 3\.方法 3.1常用方法特征提取A 3.2旋转不变性 网络输入设计 网络架构设计 3.3卷转不变性表达 3.4整体网络框架 4\.实验 5\.局限性 1\.概要 T...

Deep Learning for Image and Point Cloud Fusionin Autonomous Driving: A Review

摘要 在过去几年中，自动驾驶汽车经历了快速发展。然而，由于驾驶环境的复杂性和动态性，实现完全自主并非易事。因此，自动驾驶车辆配备了一套不同的传感器，以确保可靠、准确的环境感知。特别是，相机激光雷达融合...

YOLO-World:Real-Time Open-Vocabulary Object Detection

目录 摘要 Abstract YOLOWorld 1模型架构 1.1TextEncoder 1.2YOLOBackbone 2RepVLPAN 2.1TCSPLayer 2.2IPoolingAtte...