RGB-D Camera 汇总

1. RGB-D Camera

1）深度测量技术分类

2） 各种方案的比较

3）Three-dimensional vision sensor technology comparisons

1.1 双目摄像头 (Stereo Camera)

1）原理：

• Many stereo methods acquire depth values at points where either corresponding features or texture information is present.
  - The accuracy of stereo systems is influenced by their configuration, with typical parameters including baseline and focal length.

- Stereo Matching

2）特点：该方案具有较高的分辨率（即图像捕捉精准），然而其体积较大导致不适用于移动端设备使用（即难以应用到移动设备如手机、VR头显等）。该结构光方法存在光线敏感性问题（即抗光性差），并且不具备近端成像能力（即不能在近距离使用）。

3）代表：Leap Motion

1.2 结构光 (Structured Light)

1. 原理

The accuracy is influenced by the configuration settings and is affected by parameters including baseline, focus, and light patterns.

2）代表：Kinect V1

1.3 TOF (Time of Flight)

1）原理：

- 测量发射与反射红外(IR)信号的相位延迟(phase-delay)

- 计算每个sensor像素到目标物体的距离

时延可以通过四个电荷量之间的关系来计算。这四个控制信号之间具有90度的时延差异。c = 3×1e8 m/s

The operational range spans from 0.8 meters to a maximum of 3.5 meters, with the spatial resolution achieving a precise measurement of 3mm when determined at a distance of 2 meters. The depth resolution recorded under the same conditions is approximately 10mm, while the field of view measures 57 degrees in height and extends to a width of 43 degrees, providing comprehensive coverage.

基于光时间差（ToF）原理的传感器阵列由多个距离传感器单元构成。相比之下，在功能上有所提升（与传统成像传感器相比），但该传感器本质上仍是一个典型的CMOS芯片。鉴于此，在系统相关电子设备（如模拟-数字转换器等）旁边安装成像和三维测量能力是可行的。值得注意的是，整个传感器的计算处理能力都集成在芯片上；这意味着每个像素都能独立计算距离。因此，“智能像素”（ToF pixels）这一术语也被广泛采用。

2）主要问题：

- 精确度低、空间分辨率低

- 运动模糊 (motion blur 相机运动或目标运动)

尽管当前精度达到厘米级别，在性能上仍较Leap Motion等毫米级设备存在不足；然而现有的设备在体积和成本上已经超越了Leap Motion等先进产品，并且未来有望进一步缩小尺寸以具备嵌入移动设备的能力

4）代表：Kinect V2

目前主要的TOF相机厂商包括PMD、MESA、Optrima以及微软等。其中，在科研领域的应用较为广泛的是MESA型号。其设备体积小巧且性能稳定，在光谱分辨率方面表现优异；而PMD系列则是唯一具备户外与户内双场景下的应用能力，并支持多种探测距离设置；不仅适用于科研场景，在工业和其他领域也展现出广泛的应用潜力。此外,Optrima系列与微软旗下的相关设备则聚焦于家庭娱乐及休闲娱乐领域

1.4 光编码（Light Coding）

光编码（Light Coding）技术（源自PrimeSense）：与传统的ToF或结构光测量技术不同的是，Light Coding采用了持续光源而非脉冲光源，并无需定制专用的CCD传感器即可采用普通的CMOS图像传感器。这样一来不仅降低了硬件成本还简化了系统架构使方案的整体成本大幅下降。

Light Coding, 简单来说就是利用光源照射到被测空间并对其进行编码的技术。

在执行此操作之前，请确保完整记录整个空间区域的所有散斑图案以便后续处理工作能够顺利开展因此需要先完成光源标定过程根据PrimeSense的技术文档中描述每隔一定间距选取多个基准面来进行数据采集假设按照Natal技术规范用户的活动范围设定为距离电视墙1米至4米之间则每隔10厘米的距离选取基准面总共会获取了共30张二维散斑图当进行测量时对待测环境拍摄了一组二维散斑图随后将这一组待测二维散斑图与之前的每张标准图进行比对计算从而获得30个对应度值这些对比计算结果能够帮助确定物体存在于空间中的具体位置通过对比计算结果定位物体存在的位置并找到其对应的峰值坐标进而完成三维重建过程

2. 目前主要RGB-D产品

产品	延迟	FPS	DOF	感应角度	使用距离	焦距	价格	技术方案
LeapMotion	10ms	120Hz	26	120度	70cm以内	30cm	699	双目摄像头
uSens	16ms	60Hz	26	120度	70cm以内	30cm	699	双目摄像头
微动	10ms	100Hz	23	120度	70cm以内	40cm	699	双目摄像头
Nimble	25ms	45Hz	110度	0-1.2m	无需定焦	699	TOF
ThisVR	16ms	60Hz	26	110度	0-1.5m	无需定焦	299	TOF
Kinect One	30ms	30Hz	60度	0.5-4m	无需定焦	999	TOF
Intel(Omek)	33ms	30Hz	90度	1-3	1m外	1099	结构光
奥比中光	33ms	30Hz	1-3	0.5m外	999	结构光

ToF: SoftKinetics, PMD, MSFT

SL(Structured Light): PS, Intel, Mantis, Morvidius

Stereo: Intel

3. Kinect V1 VS Kinect V2

3.1 Sensor配置比较

Kinect V1	Kinect V2
颜色（Color）	分辨率（Resolution）	640×480	1920×1080
fps	30fps	30fps
深度（Depth）	分辨率（Resolution）	320×240(upsample:640x480)	512×424
fps	30fps	30fps
人物数量（Player）	6人	6人
人物姿势（Skeleton）	2人	6人
関節（Joint）	20関節／人	25関節／人
手的開閉状態（Hand State）	△（Developer Toolkit）	○（SDK）
检测範囲（Range of Detection）	0.8～4.0m	0.5～4.5m
角度（Angle）（Depth）	水平（Horizontal）	57度	70度
垂直（Vertical）	43度	60度
（Tilt Motor）	○	×（手動）
複数的App	×（単一的App）	○

（注：V1的要求是USB2.0理论传输速率是60MB/s，V2是USB3.0理论传输速率是500MB/s。可以计算一下，以XRGB Color为例，30fps，那么每秒所需传输的数据大小为640 x 480 x 4 x 30约为35M；再加上USHORT格式的Depth Color，30fps，大小为320 x 240 x 2 x 30约为4M。总计约为40MB/s，因为带宽有限，所以在保证画面帧率稳定的情况下，分辨率只能如此，而且基本上必须独占一个USB Controller。再算算v2的情况，Color = 1920 x 1080 x 4 x 30 约为237M，Depth = 512 x 424 x 2 x 30约为12M，总计约为250M/s。所以非USB3.0不可，否则传输不了这么大的数据量。显而易见，Color Map是最占带宽的，其实可以通过一些其他格式，比如I420或MJPG来减少数据量，然后通过CPU或GPU来进行解压和回放。）

3.2 Kinect V1的关节图

3.3 Kinect V2的关节图

新增了头部（HEAD），末端（HAND_TIP_LEFT,HAND_TIP_RIGHT）以及小节（THUMB_LEFT,THUMB_RIGHT）共计五个关节

3.4 应用架构

想再和大家分享一位人工智能教学的大牛的课程吧？完全零基础！一学就会！趣味横溢！里面还有一些搞笑的小插曲！希望这个课程一定能让你在人工智能领域找到自己的位置哦！[()