彩色图和深度图转点云
环境搭建与配置
本文介绍了在Windows10系统上搭建OpenCV 2.49、OpenNi和PCL 1.8开发环境的方法。具体步骤包括VS2013项目的配置(如相机内参设置)、PCL属性表的保存以供快速引用。此外,代码片段RGBDtoPC.cpp展示了如何利用深度图像和彩色图像生成点云数据并进行可视化展示。
遇到的问题及解决思路
在运行过程中发现cv::imread()无法读取图像文件,并提示PCL::IO异常。进一步分析显示可能是OpenCV版本不兼容或编译链接时依赖项设置不当。此外,在深度图与彩色图未对准的情况下,默认相机内参设置可能存在问题。
总结
本文详细介绍了基于VS2013开发环境下的OpenCV和PCL安装与配置过程,并提供了将配置参数保存至属性表的方法;同时针对运行过程中出现的问题进行了初步分析。
环境:windows10、VS2013、opencv 2.49、openNi、PCL1.8
opencv 环境搭建参考
[VS 2013 + OpenCV 2.4.9(版本号)配置][zz] - [作者] - 博客园
[OpenCV 三维点云配准算法实现原理与代码解析]( blog net "三维点云配准算法实现原理与代码解析")
[三维点云配准算法实现原理与代码解析_Liyunlong's blog_ blog]( blog net "三维点云配准算法实现原理与代码解析")
[三维点云配准算法实现原理与代码解析_Liyunlong's Blog_Cloud Blog]( blog net "三维点云配准算法实现原理与代码解析")
[三维点云配准算法实现原理与代码解析_Liyunlong's Blog_Cloud Blog]( blog net "三维点云配准算法实现原理与代码解析")
[三维点云配准算法实现原理与代码解析_Liyunlong's Blog_Cloud Blog]( blog net "三维点云配准算法实现原理与代码解析")
PCL1.8+openNi搭建参考
在Windows 10环境下使用Visual Studio 2013与Point Cloud Library 1.8进行配置
在Windows系统中设置PCL 1.8.0与VS 2013开发环境的大作家佚名的博客文章
将上面的opencv和pcl的配置保存到属性表中,以便下一次快速引用。

创建一个新的项目,并对其实现方案进行设置;在属性管理器的Debug\ x64设置中添加前面两个属性表

RGBDtoPC.cpp
#include "stdafx.h"
#include <iostream>
#include <pcl/io/io.h>
#include <pcl/io/pcd_io.h>
#include <pcl/point_types.h>
#include <opencv2/opencv.hpp>
#include <string>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <pcl/visualization/cloud_viewer.h>
using namespace std;
// 定义点云类型
typedef pcl::PointXYZRGBA PointT;
typedef pcl::PointCloud<PointT> PointCloud;
// 相机内参
const double camera_factor = 1000;
const double camera_cx = 325.5;
const double camera_cy = 253.5;
const double camera_fx = 518.0;
const double camera_fy = 519.0;
// 主函数
int main(int argc, char** argv)
{
// 读取./data/rgb.png和./data/depth.png,并转化为点云
// 图像矩阵
cv::Mat rgb, depth;
// 使用cv::imread()来读取图像
// API: http://docs.opencv.org/modules/highgui/doc/reading_and_writing_images_and_video.html?highlight=imread#cv2.imread
rgb = cv::imread("color.png");
cout << "read rgb"<<endl;
// rgb 图像是8UC3的彩色图像
// depth 是16UC1的单通道图像,注意flags设置-1,表示读取原始数据不做任何修改
depth = cv::imread("depth.png");
cout << "read depth" << endl;
// 点云变量
// 使用智能指针,创建一个空点云。这种指针用完会自动释放。
PointCloud::Ptr cloud(new PointCloud);
// 遍历深度图
for (int m = 0; m < depth.rows; m++)
for (int n = 0; n < depth.cols; n++)
{
// 获取深度图中(m,n)处的值
ushort d = depth.ptr<ushort>(m)[n];
// d 可能没有值,若如此,跳过此点
if (d == 0)
continue;
// d 存在值,则向点云增加一个点
PointT p;
// 计算这个点的空间坐标
p.z = double(d) / camera_factor;
p.x = (n - camera_cx) * p.z / camera_fx;
p.y = (m - camera_cy) * p.z / camera_fy;
// 从rgb图像中获取它的颜色
// rgb是三通道的BGR格式图,所以按下面的顺序获取颜色
p.b = rgb.ptr<uchar>(m)[n * 3];
p.g = rgb.ptr<uchar>(m)[n * 3 + 1];
p.r = rgb.ptr<uchar>(m)[n * 3 + 2];
// 把p加入到点云中
cloud->points.push_back(p);
//cout << cloud->points.size() << endl;
}
// 设置并保存点云
cloud->height = 1;
cloud->width = cloud->points.size();
cout << "point cloud size = " << cloud->points.size() << endl;
cloud->is_dense = false;
try{
//保存点云图
pcl::io::savePCDFile("E:\ Visual Studio2013\ project\ RGBDtoPC\ data\ pcd.pcd", *cloud);
}
catch (pcl::IOException &e){
cout << e.what()<< endl;
}
//显示点云图
pcl::visualization::CloudViewer viewer("Simple Cloud Viewer");//直接创造一个显示窗口
viewer.showCloud(cloud);//再这个窗口显示点云
while (!viewer.wasStopped())
{
}
//pcl::io::savePCDFileASCII("E:\ Visual Studio2013\ projectpointcloud.pcd", *cloud);
// 清除数据并退出
cloud->points.clear();
cout << "Point cloud saved." << endl;
return 0;
}
运行后可能直接返回,提示pcl::io Exception
单步运行发现cv::imread()并没有读取到图片。原因如下
opencv有cvLoadImage()和cv::imread()读图片的方法
而后者的版本号确实存在偏差。(在调试环境中,默认使用的依赖项应为xxxd.lib,在非调试模式下则对应为xxx.lib)
即在构建过程中若同时引入带有'd'前缀和非'd'前缀的附加依赖项将会导致配置错误;建议仅需考虑带有'd'版本的依赖项并弃用无'd'版本。

我添加了这些
opencv_calib3d249d.lib
opencv_contrib249d.lib
opencv_core249d.lib
opencv_features2d249d.lib
opencv_flann249d.lib
opencv_gpu249d.lib
opencv_highgui249d.lib
opencv_imgproc249d.lib
opencv_legacy249d.lib
opencv_ml249d.lib
opencv_nonfree249d.lib
opencv_objdetect249d.lib
opencv_photo249d.lib
opencv_stitching249d.lib
opencv_ts249d.lib
opencv_video249d.lib
opencv_videostab249d.lib
显示点云图参考:
本节将介绍如何利用PCL库实现PCD文件的解析与展示技术
//显示点云图
pcl::visualization::CloudViewer viewer("Simple Cloud Viewer");//直接创造一个显示窗口
viewer.showCloud(cloud);//再这个窗口显示点云
color.png

depth.png

运行结果

深度图和彩色图没有对准,可能的原因是在代码的相机内参设置不匹配。
