Advertisement

ROS下利用realsense采集RGBD图像合成点云

阅读量:

摘要:在ROS kinetic下,利用realsense D435深度相机采集校准的RGBD图片,合成点云,在rviz中查看点云,最后保存成pcd文件。

一、 各种bug

代码编译成功后,打开rviz添加pointcloud2选项卡,当我订阅合成点云时,可视化失败,选项卡报错:

1)Data size (9394656 bytes) does not match width (640) times height (480) times point_step (32). Dropping message.

解读:通过 rostopic echo /pointcloud_topic 读取相机节点发布的原始点云的相关数据,可以发现每一帧原始点云的点数量为307200。合成点云的点数量为 9394656 / 32 ,约26万。可以猜测由于某种原因,系统把每一帧合成点云的数据都丢弃了。

原因:我事先给定合成点云的大小为,height = 480,width = 640. 然而在合成点云的过程中,剔除了部分违法值(d=0),由此导致合成点云的点数量与指定的点数量不匹配,合成点云的数据因此被丢弃。

解决方法:采用如下方法给定点云大小, cloud->height = 1; cloud->width = cloud->points.size();

2)transform xxxxx;

解读:通过 rostopic echo /pointcloud_topic ,发现原始点云数据具有如下信息,

复制代码
    header: 
      seq: 
      stamp: 
    secs: 
    nsecs: 
      frame_id: "camera_color_optical_frame"

由此推断,合成点云缺失参考坐标系header.frame_id。点云中点的XYZ属性是相对于某个坐标系来描述的,因此,需要指定点云的参考坐标系。

解决方法:添加点云的header信息,

复制代码
    "camera_color_optical_frame"; 
    pub_pointcloud.header.stamp

3)将合成的点云存储成pcd文件时遇到如下报错:

复制代码

经过多方查找,摸索了一步trick,分享给大家。真实报错原因仍未查明,期待前辈的指点

高博的源代码如下所示,里面的cloud是pcl的数据类型,

pcl::io::savePCDFile( "./pointcloud.pcd", *cloud ); 。

我的源代码如下面所示,先通过 pcl::toROSMsg() 将pcl的数据类型转换成ros的数据类型,再写入pcd中,即可跳过报错。

4)相机内参

由于在彩色图和深度图配准的过程中,选用的是彩色图的坐标系,因此在合成点云(像素坐标在变换到相机坐标)时应该选用彩色图的相机内参。

realsense官方提供了一个应用程序可以查看所有视频流的内参。

复制代码
    5577

如下所示

84 : Color #0 (Video Stream: Y16 640x480@ 60Hz)
85 : Color #0 (Video Stream: BGRA8 640x480@ 60Hz)
86 : Color #0 (Video Stream: RGBA8 640x480@ 60Hz)
87 : Color #0 (Video Stream: BGR8 640x480@ 60Hz)
88 : Color #0 (Video Stream: RGB8 640x480@ 60Hz)
89 : Color #0 (Video Stream: YUYV 640x480@ 60Hz)
90 : Color #0 (Video Stream: Y16 640x480@ 30Hz)
91 : Color #0 (Video Stream: BGRA8 640x480@ 30Hz)
92 : Color #0 (Video Stream: RGBA8 640x480@ 30Hz)
93 : Color #0 (Video Stream: BGR8 640x480@ 30Hz)
94 : Color #0 (Video Stream: RGB8 640x480@ 30Hz)
95 : Color #0 (Video Stream: YUYV 640x480@ 30Hz)
96 : Color #0 (Video Stream: Y16 640x480@ 15Hz)
97 : Color #0 (Video Stream: BGRA8 640x480@ 15Hz)
98 : Color #0 (Video Stream: RGBA8 640x480@ 15Hz)
99 : Color #0 (Video Stream: BGR8 640x480@ 15Hz)
100: Color #0 (Video Stream: RGB8 640x480@ 15Hz)
101: Color #0 (Video Stream: YUYV 640x480@ 15Hz)
102: Color #0 (Video Stream: Y16 640x480@ 6Hz)
103: Color #0 (Video Stream: BGRA8 640x480@ 6Hz)
104: Color #0 (Video Stream: RGBA8 640x480@ 6Hz)
105: Color #0 (Video Stream: BGR8 640x480@ 6Hz)
106: Color #0 (Video Stream: RGB8 640x480@ 6Hz)
107: Color #0 (Video Stream: YUYV 640x480@ 6Hz)

5)深度图从ROS的数据类型转换为CV的数据类型

参看链接

__

二、程序代码

复制代码
    #include 
    #include 
    #include 
    #include 
    #include // PCL 库
    #include 
    #include 
    #include // 定义点云类型 PointCloud; 
    
    usingnamespace std;
    //namespace enc = sensor_msgs::image_encodings;
    
    // 相机内参constdouble1000;
    constdouble321.798;
    constdouble239.607;
    constdouble615.899;
    constdouble616.468;
    
    // 全局变量:图像矩阵和点云cv_bridge::CvImagePtr color_ptr, depth_ptr;
    cv::Mat color_pic, depth_pic;
    
    voidconst color_msg)
    {
      //cv_bridge::CvImagePtr color_ptr;try
      {
    cv::imshow("color_view"image);
    color_ptr  cv_bridge::toCvCopy(color_msg, sensor_msgs::image_encodings::BGR8);    
    
    cv::waitKey(1050// 不断刷新图像,频率时间为int delay,单位为ms  }
      catch e )
      {
    ROS_ERROR("Could not convert from '%s' to 'bgr8'."encoding.c_str());
      }
      color_pic image;
    
      // output some info about the rgb image in cv format"output some info about the rgb image in cv format"endl;
      cout"rows of the rgb image = "endl; 
      cout"cols of the rgb image = "endl; 
      cout"type of rgb_pic's element = "endl; 
    }
    
    
    voidconst depth_msg)
    {
      //cv_bridge::CvImagePtr depth_ptr;try
      {
    //cv::imshow("depth_view", cv_bridge::toCvShare(depth_msg, sensor_msgs::image_encodings::TYPE_16UC1)->image);
    //depth_ptr = cv_bridge::toCvCopy(depth_msg, sensor_msgs::image_encodings::TYPE_16UC1); "depth_view"image);
    depth_ptr  cv_bridge::toCvCopy(depth_msg, sensor_msgs::image_encodings::TYPE_32FC1); 
    
    cv::waitKey(1050);
      }
      catch e)
      {
    ROS_ERROR("Could not convert from '%s' to 'mono16'."encoding.c_str());
      }
    
      depth_pic image;
    
      // output some info about the depth image in cv format"output some info about the depth image in cv format"endl;
      cout"rows of the depth image = "endl; 
      cout"cols of the depth image = "endl; 
      cout"type of depth_pic's element = "endl; 
    }
    intintcharargv)
    {
      ros::init(argc, argv, "image_listener");
      ros::NodeHandle nh;
      cv::namedWindow("color_view");
      cv::namedWindow("depth_view");
      cv::startWindowThread();
      image_transport::ImageTransport it(nh);
      image_transport::Subscriber sub "/camera/color/image_raw"1, color_Callback);
      image_transport::Subscriber sub1 "/camera/aligned_depth_to_color/image_raw"1, depth_Callback);"generated_pc"1);
     // 点云变量
      // 使用智能指针,创建一个空点云。这种指针用完会自动释放。new PointCloud );
      sensor_msgs::PointCloud2 pub_pointcloud;
    
      double1.0// 1HZ,1秒发1次 // use to regulate loop rate 
      cout"depth value of depth map : "endl;
    
      while (ros::ok()) {
    // 遍历深度图forint0){
      forint0){
          // 获取深度图中(m,n)处的值floatfloat(m)[n];//ushort d = depth_pic.ptr<ushort>(m)[n];
          // d 可能没有值,若如此,跳过此点if0)
             continue;
          // d 存在值,则向点云增加一个点          pcl::PointXYZRGB p;
    
          // 计算这个点的空间坐标double camera_factor;
          p.x  camera_fx;
          p.y  camera_fy;
            
          // 从rgb图像中获取它的颜色
          // rgb是三通道的BGR格式图,所以按下面的顺序获取颜色3];
          p.g 31];
          p.r 32];
        
          // 把p加入到点云中points.push_back( p );
      }
    }
        
    
    // 设置并保存点云1;
    cloudpoints.size();
    ROS_INFO("point cloud size = %d"width);false;// 转换点云的数据类型并存储成pcd文件cloud,pub_pointcloud);
    pub_pointcloud.header.frame_id "camera_color_optical_frame";
    pub_pointcloud.header.stamp  ros::Time::now();
    pcl::io::savePCDFile("./pointcloud.pcd", pub_pointcloud);
    cout"publish point_cloud height = "endl;
    cout"publish point_cloud width = "endl;
    
    // 发布合成点云和原始点云    pointcloud_publisher.publish(pub_pointcloud);
    ori_pointcloud_publisher.publish(cloud_msg);
    
    // 清除数据并退出points.clear();
    
    ros::spinOnce(); //allow data update from callback; // wait for remainder of specified period;   }
    
      cv::destroyWindow("color_view");
      cv::destroyWindow("depth_view");
    }

转载于:https://www.cnblogs.com/gdut-gordon/p/9155662.html

全部评论 (0)

还没有任何评论哟~