自动驾驶~相机相对地面の在线标定

这一是一个大佬的啊 为了自学 没别的意思~~ 感谢大佬~~

文章：Online Camera-to-ground Calibration for Autonomous Driving

作者：Binbin Li, Xinyu Du, Yao Hu, Hao Yu, and Wende Zhang

摘要

相机与地面的实时标定主要指基于车辆行驶状态实现相机与道路平面之间的非刚性变换建模过程。目前主流的方法多依赖静态标定技术，在应对轮胎气压变化、载重体积波动以及道路路面多样性等环境因素时表现出明显局限性。现有在线解决方案通常基于道路元素或图像中的重叠视图进行光度一致性分析，在实际应用中需要持续检测特定目标或配置多摄像头网络以完成标定任务。本研究提出了一种新型实时单目相机与地面标定方法，在不依赖行驶过程中的特定目标标志物前提下实现了精确建模。该方法通过采用基于车辆轮速的信息和里程计技术，在线提取并逐步优化地面特征描述，并结合滑动窗口因子图优化算法精确估计相机与地面间的参数关系。针对系统运行中的动态环境因素影响，我们建立了完整的性能评价指标体系并设计了科学合理的终止条件设定，在保证标定精度的同时实现了系统的稳定运行。通过对真实场景下的大量实验测试表明：所提出的算法在计算效率和定位精度方面均优于现有技术方案

介绍

现代车辆配备了多种摄像头以采集和解析周围环境的数据并将特征统一于一个共享的空间图中从而支持可解释性的运动规划任务。相机标定在确定各坐标系统间关系的关键步骤中发挥着重要作用这种技术有助于消除成像畸变提供全局视角并方便计算车辆上摄像头与其对应地面点之间的距离成为这些先进的辅助驾驶技术的重要组成部分

在过去的几十年间，已发展出大量先进的相机与地面的标定技术。这些技术主要可分为两大类：

（1）静态标定；

（2）行驶过程中的在线标定。

首先采用的方法包括棋盘格模式和人工标注的地面物体等。经过计算得出相机与地面之间的变换关系。考虑到车辆在行驶过程中受到轮胎气压变化、载重变化以及道路表面不均匀等因素的影响，这种变换是非刚性的。为了准确标定相机与地面的关系，在行驶过程中需要进行多次标定。例如，在图1(a)中展示的是周围视图鱼眼相机捕获的原始图像，在图1(b)中展示的是静态标定后的情况会导致BEV图像出现偏差。通过在线标定方法能够有效减少投影误差，并从而生成图1(c)中具有良好对齐效果的BEV图像。

在图1(a)所示的环视图鱼眼相机图像中，在进行静态标定过程中存在较大的相机到地面位置估计误差这一问题会导致对应的BEV图像出现不匹配现象（b）。对此我们提出的方法能够在图1(c)部分实现了良好的BEV图像对齐效果

第二类现有方法在线标定过程中，则需从道路上提取特定几何形状作为基础信息。如单目相机消失点及周边视图相机提取的道路车道线等元素；或多个摄像头重叠区域呈现的一致亮度特征等细节因素；这些元素均需用于辅助校正调整整个系统的精确度参数设置。然而，在不同行驶环境下难以满足这些条件；在这种情况下，则需基于连续拍摄的画面实现摄像头与地面平面间的精确校准

3主要内容

本文提出了一种由粗到精的方案，在道路上车辆行驶时采用了该方法。具体而言，在图像采集阶段通过因子图优化算法识别出地平面特征点集，并结合基于几何模型的标定技术确定了相机与地平面之间的精确参数配置。该过程无需依赖预先设定的标准靶标物即可完成精确标定任务。首先通过对水平线进行识别将图像分割为地平面区域与其他区域；其次运用轮式测距法预测出地平面特征的位置；最后利用几何模型验证这些特征点的位置关系并完成初步的地平面重建工作。在此基础上采用平面拟合的方法确定了地平面法向量以及相机至地平面的高度参数；随后通过因子图优化算法进一步校正这些参数以求得精确的地平面上坐标变换关系。为了保证标定系统的鲁棒性和可靠性还设计了一套基于实时监测的数据质量评估指标以及相应的终止准则以确保系统运行效率

本文提出了一种由粗到精的方案，在道路上车辆行驶时采用了该方法

图2展示了一个系统的整体架构。其主要组成部分包括：首先基于运动学模型自车地重建关键帧间的相对运动状态,从而实现相机姿态解算及空间定位；其次从关键帧中提取初步的 ground feature 信息,并通过 vehicle motion 推导出潜在的地物 feature,进而完成地物 feature 的优化与验证；接着完成 ground plane 的拟合计算,获得 ground normal vector 并确定摄像头与 ground 接触点的高度位置；最后利用 factor graph 模型对摄像头的姿态与位置参数进行细致优化,并设计了一种终止判据用于判断何时输出校准结果

图2. 系统框架

A. 通过轮速里程计测量的相机运动

基于CAN总线系统持续的车轮里程数据的估算,研究车辆随时间的姿态变化情况,并同时确定相机关键帧间的相对运动状态.具体公式推导见原文.

B. 连续关键帧的地面提取

在车辆行驶路面上所呈现的地表特征信息（即地面特征）对于相机与地面标定过程至关重要。在城市和郊区环境下, 大部分地表特征都集中于具有相似纹理的混凝土或沥青路面表面, 这类特征由于纹理相似度高而难以被有效提取和匹配识别。为此, 我们提出了一种从粗等到细的地面特征提取架构, 旨在实现稳健可靠的相机与地面标定过程。具体而言, 首先我们采用地平线提取方法, 并结合车辆运动学模型预测并确定地表特征的位置坐标信息, 这样便能够实现有效的特征匹配定位。接着我们引入几何建模技术, 通过建立地面平面模型来验证各目标特征点是否位于该平面之上, 并进一步计算出平面法向量以及相机中心至地面的高度参数值等关键参数指标。在标定过程中, 我们选择以稳定速度行驶时的关键帧图像作为基准参考面, 这样可以在不同图像帧之间观察到较小且稳定的相机姿态变化范围, 从而保证标定过程的稳定性与可靠性。**关键帧是指在时间序列中被选定作为基准参考面的一组离散图像样本点集合,**通常表示为时间间隔的起点位置坐标值集合等信息参数。**从这些选定的关键帧图像开始处理, 我们利用KLT稀疏光流算法对图像区域进行角点特� 征检测与跟踪计算。**随后通过水平线分割处理图像数据,**筛选出位于水平线以下区域内的目标特 征点作为用于后续处理的基础数据集。**接着结合车辆运动学模型预测这些目标特 征在下一个时间段内的大致位置分布情况,**从而能够实现较为精确的目标特 征定位与匹配。**这样我们就能够有效地完成目标地表特 征信息的采集与分析工作,**为后续实现可靠的相机到地面标定以及场景三维重建等应用任务提供重要的理论依据和技术支撑

图4展示了粗糙地面特征的提取过程。针对每个提取出的特征，在(a)部分基于车辆运动模型预测了各特征在下一关键帧的位置信息(a)。对比图(b)，其中我们获得了更多高质量的匹配特征对。为了优化计算效率，在图(d)中我们采用了均匀采样策略来选择部分具有代表性的样本用于计算。这些线段则标记了关键帧Ik与Ik+1之间的对应关系

C. 跨关键帧地面优化

通过滑动窗口技术实现因子图优化算法来计算并优化相机的姿态、地面法向量以及相机中心至地面的高度参数。随后应用单应性矩阵将当前关键帧中的特征点映射至上一个关键帧图像平面位置，并基于此构建重投影误差模型用于优化过程的具体实施步骤如下：首先计算当前关键帧相对于上一个关键帧的相机姿态变化量；接着利用该变换参数将当前特征点投射至前一时刻图像平面；随后针对每个特征点建立其在前后两个时间点之间的重投影误差函数并求取该函数最小值；最后通过迭代更新算法参数直至收敛达到全局最优状态从而获得更为精确的地物参数估计结果

4实验

在多样的驾驶环境下运用乘用车实施了我们的算法，并展开了大量测试。研究团队配备了四个向下布置的鱼眼摄像头组成的全景成像系统安装于该车（如图1(a)所示），这些摄像头的数据与车轮编码器的信息实现了同步连接。该系统的摄像头运行频率稳定在33赫兹，在此基础上将图像分辨率设定为812像素宽×540像素高。研究团队收集了来自各地多样化的连续实验数据序列，并旨在评估该算法的工作效率及适应能力（参见表I）。这些覆盖范围内的测试样本包括从极为平整的道路表面（如FPG）到城市街道、乡村道路以及农村地区等不同气候条件、光照环境及驾驶情境下的公共道路情况；其中FPG数据源自高度平整的人工沥青路面，并用于验证我们动态标定技术的有效性；而表I的最后一列展示了车辆行驶状态与非停车状态的时间占比比例

图6展示了我们方法在面对具有挑战性驾驶场景时的卓越性能，并且该图中的标签与表格I之间存在从上至下的对应关系

我们采用了与现有最先进研究方案相对比的方法，并通过定量评估其性能表现。为了全面分析不同方案之间的差异性，在本研究中对Liu等人[23]、OECS[24]以及ROECS[25]等方案在该研究中使用的统一数据集上的性能表现进行了评估。首先对FPG数据集上的标定性能进行了对比分析，并将实验结果总结于表II中。随后，在表II中总结了各项实验指标的结果。随后，在表II中总结了各项实验指标的结果。随后，在表II中总结了各项实验指标的结果。随后，在表II中总结了各项实验指标的结果。随后，在表II中总结了各项实验指标的结果。随后，在表II中总结了各项实验指标的结果

本研究旨在通过图7中的（11）和（12）误差直方图来展示我们所提出方法的优势。通过图7可观察到不同区间内的误差差异作为与最先进工作相比性能提升的具体体现。该方法在各个水平段的特征转移均方差相对较低并且保持在0.83像素以内这一指标显示出较好的稳定性。具体而言在不同数据序列中该方法的表现较为一致其特征转移误差f的最大值出现在郊区场景中达到了最小值并始终维持在0.83像素以内这一水平表现优于城市场景下的结果。与最先进系统相比本方法在网络节点数量上的优势更为明显具体表现在以下几个方面：首先在网络节点数量上本系统实现了44.2%的最低提升率其次其在网络节点密度上的提升度达到了67.6%这是我能观察到的最大值。此外对于连接型道路场景本系统的改进效果最为显著其在网络节点数量上的提升度达到了90.9%这表明该方法特别适合用于复杂的城市交通环境分析。值得注意的是当将注意力集中在平坦道路条件下的测试结果时我们发现尽管整体性能有所下降但相较于最先进系统仍实现了12.7%的提升这表明我们的方法具有良好的鲁棒性并能在不同条件下保持较高的适用性。

图7展示了表I中数据序列的性能分布情况。水平轴上的数值对应于(11)和(12)中的误差,而垂直轴表示概率密度。请放大查看详细信息

图8呈现了车辆高速直行状态下多种方法生成的俯视图效果。与现有技术相比，我们的方法无需依赖各摄像头间的重叠区域或其他固定物体，在此场景下实现了更优的结果表现。其特征残差误差较小，并且生成的结果具有更好的对齐性，请问这是为什么呢？

（1）直行车道标线与车辆行驶方向平行，

（2）摄像头之间的车道标线互相重叠，

（3）道路上的混凝土裂缝在相邻摄像头鸟瞰图像的重叠区域上连接在一起。

图8. 行驶过程中的城市I数据示例结果。我们呈现了(a.)我们的成果,(b.)ROECS [25], (c.)OECS [24]以及(d.)Liu等人研究的结果。

5总结

我们提出了一种在线相机到地面无目标标定方法，用于在行驶过程中生成相机坐标与地面坐标之间的非刚体变换。采用了一种新颖的粗到精的架构来选择地面特征，并通过基于几何的方法进行验证。对三角化的地面特征进行平面拟合，以获得地面法向量和相机到地面的高度，然后通过滑动窗口的因子图优化对其进行优化。通过旋转平均确定相机到地面的变换，并提供停止标准来广播满足标定结果的情况。使用从不同天气和驾驶条件下收集的真实数据对我们的算法进行了广泛测试，结果显示我们的方法是有效的，并且优于最先进的技术。在未来，我们将减少因子图优化的运行时间复杂度，并进行可观测性分析，以识别帮助丢弃不需要用于标定计算的姿态和地面特征的退化场景。