ROS下利用realsense采集RGBD图像合成点云
摘要:在ROS kinetic下,利用realsense D435深度相机采集校准的RGBD图片,合成点云,在rviz中查看点云,最后保存成pcd文件。
一、 各种bug
代码编译成功后,打开rviz添加pointcloud2选项卡,当我订阅合成点云时,可视化失败,选项卡报错:
1)Data size (9394656 bytes) does not match width (640) times height (480) times point_step (32). Dropping message.
解读:通过 rostopic echo /pointcloud_topic 读取相机节点发布的原始点云的相关数据,可以发现每一帧原始点云的点数量为307200。合成点云的点数量为 9394656 / 32 ,约26万。可以猜测由于某种原因,系统把每一帧合成点云的数据都丢弃了。
原因:我事先给定合成点云的大小为,height = 480,width = 640. 然而在合成点云的过程中,剔除了部分违法值(d=0),由此导致合成点云的点数量与指定的点数量不匹配,合成点云的数据因此被丢弃。
解决方法:采用如下方法给定点云大小, cloud->height = 1; cloud->width = cloud->points.size();
2)transform xxxxx;
解读:通过 rostopic echo /pointcloud_topic ,发现原始点云数据具有如下信息,
header:
seq:
stamp:
secs:
nsecs:
frame_id: "camera_color_optical_frame"
由此推断,合成点云缺失参考坐标系header.frame_id。点云中点的XYZ属性是相对于某个坐标系来描述的,因此,需要指定点云的参考坐标系。
解决方法:添加点云的header信息,
"camera_color_optical_frame";
pub_pointcloud.header.stamp
3)将合成的点云存储成pcd文件时遇到如下报错:
经过多方查找,摸索了一步trick,分享给大家。真实报错原因仍未查明,期待前辈的指点 。
高博的源代码如下所示,里面的cloud是pcl的数据类型,
pcl::io::savePCDFile( "./pointcloud.pcd", *cloud ); 。
我的源代码如下面所示,先通过 pcl::toROSMsg() 将pcl的数据类型转换成ros的数据类型,再写入pcd中,即可跳过报错。
4)相机内参
由于在彩色图和深度图配准的过程中,选用的是彩色图的坐标系,因此在合成点云(像素坐标在变换到相机坐标)时应该选用彩色图的相机内参。
realsense官方提供了一个应用程序可以查看所有视频流的内参。
5577
如下所示
84 : Color #0 (Video Stream: Y16 640x480@ 60Hz)
85 : Color #0 (Video Stream: BGRA8 640x480@ 60Hz)
86 : Color #0 (Video Stream: RGBA8 640x480@ 60Hz)
87 : Color #0 (Video Stream: BGR8 640x480@ 60Hz)
88 : Color #0 (Video Stream: RGB8 640x480@ 60Hz)
89 : Color #0 (Video Stream: YUYV 640x480@ 60Hz)
90 : Color #0 (Video Stream: Y16 640x480@ 30Hz)
91 : Color #0 (Video Stream: BGRA8 640x480@ 30Hz)
92 : Color #0 (Video Stream: RGBA8 640x480@ 30Hz)
93 : Color #0 (Video Stream: BGR8 640x480@ 30Hz)
94 : Color #0 (Video Stream: RGB8 640x480@ 30Hz)
95 : Color #0 (Video Stream: YUYV 640x480@ 30Hz)
96 : Color #0 (Video Stream: Y16 640x480@ 15Hz)
97 : Color #0 (Video Stream: BGRA8 640x480@ 15Hz)
98 : Color #0 (Video Stream: RGBA8 640x480@ 15Hz)
99 : Color #0 (Video Stream: BGR8 640x480@ 15Hz)
100: Color #0 (Video Stream: RGB8 640x480@ 15Hz)
101: Color #0 (Video Stream: YUYV 640x480@ 15Hz)
102: Color #0 (Video Stream: Y16 640x480@ 6Hz)
103: Color #0 (Video Stream: BGRA8 640x480@ 6Hz)
104: Color #0 (Video Stream: RGBA8 640x480@ 6Hz)
105: Color #0 (Video Stream: BGR8 640x480@ 6Hz)
106: Color #0 (Video Stream: RGB8 640x480@ 6Hz)
107: Color #0 (Video Stream: YUYV 640x480@ 6Hz)
5)深度图从ROS的数据类型转换为CV的数据类型
参看链接
__
二、程序代码
#include
#include
#include
#include
#include // PCL 库
#include
#include
#include // 定义点云类型 PointCloud;
usingnamespace std;
//namespace enc = sensor_msgs::image_encodings;
// 相机内参constdouble1000;
constdouble321.798;
constdouble239.607;
constdouble615.899;
constdouble616.468;
// 全局变量:图像矩阵和点云cv_bridge::CvImagePtr color_ptr, depth_ptr;
cv::Mat color_pic, depth_pic;
voidconst color_msg)
{
//cv_bridge::CvImagePtr color_ptr;try
{
cv::imshow("color_view"image);
color_ptr cv_bridge::toCvCopy(color_msg, sensor_msgs::image_encodings::BGR8);
cv::waitKey(1050// 不断刷新图像,频率时间为int delay,单位为ms }
catch e )
{
ROS_ERROR("Could not convert from '%s' to 'bgr8'."encoding.c_str());
}
color_pic image;
// output some info about the rgb image in cv format"output some info about the rgb image in cv format"endl;
cout"rows of the rgb image = "endl;
cout"cols of the rgb image = "endl;
cout"type of rgb_pic's element = "endl;
}
voidconst depth_msg)
{
//cv_bridge::CvImagePtr depth_ptr;try
{
//cv::imshow("depth_view", cv_bridge::toCvShare(depth_msg, sensor_msgs::image_encodings::TYPE_16UC1)->image);
//depth_ptr = cv_bridge::toCvCopy(depth_msg, sensor_msgs::image_encodings::TYPE_16UC1); "depth_view"image);
depth_ptr cv_bridge::toCvCopy(depth_msg, sensor_msgs::image_encodings::TYPE_32FC1);
cv::waitKey(1050);
}
catch e)
{
ROS_ERROR("Could not convert from '%s' to 'mono16'."encoding.c_str());
}
depth_pic image;
// output some info about the depth image in cv format"output some info about the depth image in cv format"endl;
cout"rows of the depth image = "endl;
cout"cols of the depth image = "endl;
cout"type of depth_pic's element = "endl;
}
intintcharargv)
{
ros::init(argc, argv, "image_listener");
ros::NodeHandle nh;
cv::namedWindow("color_view");
cv::namedWindow("depth_view");
cv::startWindowThread();
image_transport::ImageTransport it(nh);
image_transport::Subscriber sub "/camera/color/image_raw"1, color_Callback);
image_transport::Subscriber sub1 "/camera/aligned_depth_to_color/image_raw"1, depth_Callback);"generated_pc"1);
// 点云变量
// 使用智能指针,创建一个空点云。这种指针用完会自动释放。new PointCloud );
sensor_msgs::PointCloud2 pub_pointcloud;
double1.0// 1HZ,1秒发1次 // use to regulate loop rate
cout"depth value of depth map : "endl;
while (ros::ok()) {
// 遍历深度图forint0){
forint0){
// 获取深度图中(m,n)处的值floatfloat(m)[n];//ushort d = depth_pic.ptr<ushort>(m)[n];
// d 可能没有值,若如此,跳过此点if0)
continue;
// d 存在值,则向点云增加一个点 pcl::PointXYZRGB p;
// 计算这个点的空间坐标double camera_factor;
p.x camera_fx;
p.y camera_fy;
// 从rgb图像中获取它的颜色
// rgb是三通道的BGR格式图,所以按下面的顺序获取颜色3];
p.g 31];
p.r 32];
// 把p加入到点云中points.push_back( p );
}
}
// 设置并保存点云1;
cloudpoints.size();
ROS_INFO("point cloud size = %d"width);false;// 转换点云的数据类型并存储成pcd文件cloud,pub_pointcloud);
pub_pointcloud.header.frame_id "camera_color_optical_frame";
pub_pointcloud.header.stamp ros::Time::now();
pcl::io::savePCDFile("./pointcloud.pcd", pub_pointcloud);
cout"publish point_cloud height = "endl;
cout"publish point_cloud width = "endl;
// 发布合成点云和原始点云 pointcloud_publisher.publish(pub_pointcloud);
ori_pointcloud_publisher.publish(cloud_msg);
// 清除数据并退出points.clear();
ros::spinOnce(); //allow data update from callback; // wait for remainder of specified period; }
cv::destroyWindow("color_view");
cv::destroyWindow("depth_view");
}
