论文学习笔记——Fast Odometry and Scene Flow from RGB-D Cameras based on Geometric Clustering...
基于稀疏特征点匹配的视觉里程计技术
1、必须借助多帧优化技术以消除奇异点所引起的干扰影响。
2、一般而言，在应用这一方法时会遇到难以处理稠密场景流的问题；然而，在实际操作中可以通过扩展方案逐步解决这类问题；这些扩展方案在估算物体运动时通常需要依赖于充足的特征点；值得注意的是，在三维空间中的二维投影结果中仅覆盖小区域物体的部分场景难以达到预期效果。
直接产生稠密运动估计的方法(dense direct methods)
1、传统代价函数的惩罚项包含灰度误差、负深度或正深度误差、点面误差以及特征空间中的可选误差等。
2、与基于稀疏特征点匹配的方法相比，这些方法的主要区别在于无需进行匹配，在优化过程中动态更新。
3、为了增强鲁棒性并克服不可建模因素的影响，在该类方法中采用了多种代价函数的组合方式，并结合具有抗噪声能力的成本函数（如Huber损失、Tukey损失或Cauchy损失）。
4、该方法在这种情况下表现优异（在这种情况下效果显著），但当运动区域较大时则效果欠佳（当运动区域较大时则效果不理想）。
背景分割
本文方法的主要缺点在于假定每个类别都是刚性体，在聚类过程中仅凭像素点的空间相似度进行分类。但实际上某些刚性体中的像素可能属于其他刚性体
为什么用k-means做像素点在3D坐标中的聚类
1、一个基础原理是：空间中的邻近点更可能属于同一个刚体。
2、通过构建图像金字塔来进行层次聚类是一种高效方法；一旦在某张基图上实现了聚类过程，则其余层次的图像聚类可以通过先前计算好的k-means空间坐标自动完成；这不仅提高了算法效率，在不同分辨率下的聚类结果也能保持一致。
3、这种方法非常适合在帧序列之间传递信息；即通过将每个样本映射到其对应的类别中心上，在较高分辨率下能够获得较为精确的结果。
聚类中聚类中心个数的选择
1、过多会导致该聚类产生的钢体中的像素点数量不足, 从而影响运动估计的有效性。
2、当分类数目过少时, 不同种类物体可能会被归为同一类别。
3、本研究实验中采用了经验定值为24个聚类中心, 但后续研究可采用更为优化的技术方案, 例如, 在某些情况下可采用自适应的方式动态生成新的聚类中心点, 从而降低类别间的冗余问题。
鲁棒的里程计
里程计旨在设计一个密集优化问题以最小化连续RGB-D帧对之间的光照与几何残差。这一方法是基于计算光照与几何残差的Cauchy M-estimator实现的。优化问题如下：
其中M代表中深度非空像素的数量用于调节光照变化及几何误差的影响。而c则表示函数F曲线拐点用于调节估计结果在面对高残差情况下的鲁棒性高低。
此处预设权重的作用：
- 若同一帧内该像素被判定发生运动，则降低其权重。
- 赋予远端像素更高的权重（这些通常对应场景中的静止区域）。
场景流和背景分割
基于k-means聚类算法的分割方案，在经过经过鲁棒性验证的图像预处理步骤后仍能较好地保持场景流在光照均匀性和几何一致性方面的优异表现；然而背景则呈现出较低水平的光照均匀性和几何一致性特征；理论上基于残差值进行分割能够将图像分解为静态和平动区域；但在实际应用中这一过程显得更为复杂；因为残差值无法完全可靠地反映图像的空间配准效果。以下将详细阐述这一过程中的关键挑战及其解决方案：首先深度感知技术难以实现完美图像配准；其次即使某些聚类类别实现了良好的空间对齐效果仍可能产生较大的残差值；第三由于深度估计误差会随着深度线性增加因此远处聚类区域往往表现出更高的残差特征；针对上述挑战本研究提出了一种分层优化策略
场景流估计和里程计重定义
先前的研究已经构建了一个向量空间模型，在该模型中每个维度代表了将某聚类类别归类为动态（scene flow）的概率值范围。基于此模型进行后续步骤的操作：首先对图像进行动态与静态区域划分；其次完成场景流估计与里程计重新校准工作。
基于聚类分析的方法将图像划分为动态（scene flow）与静态（background）两类，在这一过程中我们采用了基于概率分布的方法来进行区域划分而非采用单一阈值划分的方法。具体而言，在某个阈值以上的样本被判定为属于scene flow类别，在另一个阈值以下的样本被判定为background类别；而对于处于两者之间的样本，则需要同时参与两个过程：即完成运动体运动估计（里程计计算），并参与里程计重新校准工作。
每个运动体运动估计（里程计计算）以及其重新校准的过程均通过求解类似的最优化问题来进行建模。
公式
\text{运动体里程计计算} = \argmax_{v} P(v | x)
与里程计计算中的最小化问题的不同：
- 统计每个聚类中的像素数量，在图像处理中与里程计计算不同的是，在深度图上非零像素的数量。
- 预设权重设置：在图像分割后进行优化问题求解时，默认设置应通过惩罚项对闭合像素区域和不连续区域（时间或空间梯度高）进行强化处理，并以增强对平滑区域的支持来构建出更加精确且有效的优化模型。