视觉SLAM笔记（40） 特征点的缺陷
视觉SLAM中使用特征点估计相机运动存在三大缺陷：计算耗时长（如SIFT在CPU上无法实时计算）、信息丢失（仅提取数百个特征点而非整个图像）、相机可能进入“特征缺失”场景导致匹配不足。为克服这些缺陷，提出三种方法：保留关键点但不计算描述子并结合光流法、仅计算关键点而不使用描述子并采用直接法、完全不使用特征点而根据像素灰度信息直接计算相机运动。直接法通过最小化光度误差求解相机运动，在不需要关键点对应关系且避免特征缺失的情况下恢复稠密或半稠密结构，并已成为单目视觉里程计算的重要方法之一。
视觉SLAM笔记（40） 特征点的缺陷
- 1. 特征点估计相机运动的缺陷
- 2. 克服使用特征点缺陷
- 3. 思路分析
- 4. 直接法
1. 特征点估计相机运动的缺陷
先前阐述了基于特征点的相机运动估计方法。
然而，在视觉里程计领域中，特征点法仍然面临诸多挑战。
研究人员指出该方法存在以下不足：
关键点提取与描述子生成耗时长
实践表明，在当前环境下 SIFT 在 CPU 上无法实现实时处理；相比之下，在相同环境下 ORB 的特征点提取速度约为每帧需耗费约 20 毫秒
若整个系统 SLAM 实际运行速度维持在每帧 30 毫秒水平，则其中约有高达一半的时间用于特征点计算
在应用特征点时，请注意未被纳入分析的其他细节
一张图像包含了数十万像素的信息量，但仅提取数百个关键点进行描述
仅依赖于特征点会导致大量细节被剔除了
相机有时会移动至 关键特征丢失 的区域，在这些区域中缺乏明显的纹理细节；例如，在墙面光滑或空间空旷的情况下，则会出现这一问题；这些场景导致可检测的特征点数量大幅下降
2. 克服使用特征点缺陷
看到使用特征点确实存在一些问题，至于克服这些缺点
有以下几种思路：
仅针对关键点进行处理而无需处理描述子。
此外，在跟踪过程中采用了光流法。
通过这种方式避免了时间上的消耗。
仅关注关键点，并非涉及描述子的运算。此外，在运动估计中，直接法（Direct Method）被用来确定特征点在下一帧图像中的位置。这种方案无需进行描述子的计算，在实现上更为简便。然而，在精度上相对而言略逊于基于特征点的方法。
除了不涉及关键点和描述子外，在处理过程中我们是基于像素亮度的变化 直接推导出 相机的运动状态。
3. 思路分析
第一种方法仍沿用特征点这一基础元素，在描述子匹配环节进行了优化替换为光流跟踪技术
使用特征点法估计相机运动时, 将这些特征点视为固定在三维空间中的不动点
基于后两种技术方案的主要特点在于：它们均通过分析图像素的亮度值来推导相机运动参数，并统称为直接解算方法。
相反地，在传统直接法中，并无需确定点与点之间的对应关系；而主要通过最小化光度误差（Photometric error）这一指标为目标
4. 直接法
它旨在克服特征点法的相关缺陷
直接法则基于像素亮度信息来估算相机运动，并完全摒弃关键点和描述子的计算需求
因此，在减少了特征计算所需的时间的同时也规避了因缺乏关键点而导致的信息缺失问题
当场景呈现明暗变化（包括渐变情况且无局部图像梯度）时，则可以直接运用该方法进行工作
主要依据使用像素的数量不同, 直接法可划分为稀疏、密集以及部分密集的三种类型. 与之相比, 特征点法仅能实现稀疏特征点（即稀疏地图）的重构, 相较之下, 直接法则具备恢复或重建较为密集或部分密集结构的能力.
历史上虽然一些早期研究者对直接法进行了尝试
但直到 RGB-D 相机的出现才才认识到直接法不仅适用于 RGB-D 相机
而且对于单目相机也同样奏效
随后随着一些使用直接法的开源项目的逐渐兴起（例如 SVO 和 LSD-SLAM 等）
这些方法逐步占据了视觉里程计算领域的半壁江山
参考：
相关推荐：
视觉SLAM笔记（102615449）解决ICP问题
视觉SLAM笔记（102615428）采用ICP算法实现三维到三维点云匹配
视觉SLAM笔记（102595098）应用PnP算法解决相机位姿估计问题
视觉SLAM笔记（102536002）利用PnP技术实现三维点与二维图像之间的对应关系分析
视觉SLAM笔记（102533597）通过三角测量方法确定特征点在空间中的具体位置