【基于激光雷达的路沿检测用于自动驾驶的真值标注】

本文提出了一种从激光雷达传感器捕获的一系列点云中检测3D路沿的方法，并将其应用于标注工具中以减少人工标注时间。研究主要贡献包括：1）提出了一种基于分割深度神经网络的路沿检测方法，并通过序列级处理优化3D路沿；2）将检测结果转换为符合ASAM OpenLABEL标准的折线形式，并验证了该方法的有效性；3）通过实验证明了该方法能够将人工标注时间减少50.99%，同时保持数据质量水平。该研究为自动驾驶任务中的路径规划提供了高效的半自动标注解决方案，并为后续研究提供了新的技术方向。

文章目录

• • 概要
  • 主要贡献
  • 内容概述
  • 实验
  • 小结

概要

论文地址：https://arxiv.org/pdf/2312.00534.pdf

路沿检测在自动驾驶系统中发挥着核心作用，在实际应用中能够识别出 drivable areas 和 non-drivable regions。为了实现对自动驾驶技术体系的有效开发与验证过程，在相关领域中需要具备高质量的标注数据作为支撑。然而，在现有公开数据集中关于标注点云路径边缘的数据资源仍然较为稀缺

本文提出了一种基于激光雷达传感器捕获多组点云后进行三维道路边缘检测的方法,主要包含两个阶段。在第一个阶段,我们通过分割深度神经网络对每个扫描进行路沿探测;在第二个阶段,我们利用车辆里程数据对重建的点云进行序列级处理,以估算3D路沿。

在对这些路沿的三维点云数据进行处理后，我们遵循ASAM OpenLABEL标准提取结构化的折线信息。所得检测结果可用于标记流水线中的预标注操作，从而有效地生成与路沿相关的实地环境数据。

本研究通过实验验证了该方法的有效性。在实验过程中, 我们让不同的人工标注员对一组基于LiDAR的序列数据进行了标注, 其中一部分数据预设了自动生成的人工标签, 而另一组则未预先标记。结果表明, 得益于本研究开发的检测机制, 手动注标所需时间减少了50.99%, 并未影响数据质量水平。

主要贡献

在自动驾驶技术领域中,路沿检测对于全面了解车辆周围环境具有重要意义.作为道路边界的组成部分之一,在自动驾驶系统中识别和利用这些边界线对于区分可通行区域与禁行区域至关重要;这些边界线不仅有助于实现自动泊车、路径规划等功能,在复杂交通环境中提供了可靠的感知基础.

对于评估诸多先进的驾驶功能而言，对路面边缘线的检测具有重要意义。这些边缘线确定了系统关注的潜在区域（例如停车位和人行道的位置）。然而，在标注边缘线的数据方面，其数量仍然相对稀缺。

为了缓解手动标注的工作压力，我们开发了一种创新的技术方案，即在现有系统中整合了高精度的3D路边标线数据作为预标注信息，并对接了现有的标注工具如[3]平台，在此基础上优化为半自动流程。

我们的方法包含两个主要阶段。首先部分中, 我们采用了深度神经网络（DNN）模型来实现对每个扫描图像进行初步边缘检测. 在这一过程中, 深度学习算法能够自动识别出道路边缘区域. 接下来, 我们设计了一个后续处理模块, 通过该模块能够在扫瞄级别上进一步优化边缘定位精度, 并输出预标记结果. 这些结果可作为注释工具的操作基础, 并表示为符合ASAM OpenLabel标准的标准曲线形态数据.

因此，本文的主要贡献包括：

开发一种规范化的处理流程，在LiDAR点云序列上实现3D路沿检测，并支持用于标注工具的应用场景。

内容概述

该方法包含三个关键环节（如图1所示）。首先对点云数据进行处理以生成基于扫描序列的俯视图（BEV）点云表示。其次利用深度神经网络（DNN）对每个扫描进行路沿检测工作。最后通过序列级处理步骤实现3D道路边缘线估计目标。

1）获取与每个扫描的2D路沿检测相对应的3D点；

2）从序列的扫描、2D路沿检测和车辆航迹的信息中重建检测到的3D路沿点；

通过3D路沿的聚类处理以及骨架化后进一步简化的工作流程设计中完成目标任务，并生成标准化标注文件中的最终折线图

3.1 点云到BEV

为了道路边缘检测，在可选方案中可采用两种不同的输入表示方法：一种是基于LiDAR技术提供的三维空间分布信息表示法（3D），另一种是基于俯视图（BEV）的空间映射方法。其中三维表示更为精确且包含更多信息量但计算开销较大而二维特征则相对简洁高效因此我们倾向于采用BEV选项作为更为紧凑的特征表达

点云数据可被视为三维空间中的离散点集合这些离散样本被划分为M个切片区域每个切片区域对应不同高度区间随后这些切片会被投影至具有固定分辨率的二维网格图上每个投影单元通过编码该区域内的最高点高度信息来生成对应的深度图从而生成一个独立的高度图矩阵

3.2 扫描帧路沿分割

本研究提出了一种基于深度神经网络（DNN）的语义分割方法用于估计二维道路边缘。该网络构建了M通道的鸟瞰图（BEV）映射，并对每个像素生成对应的二值掩码；这些像素被分配为两类标签：一类标记为"路沿"边界，另一类标记为"非路沿"区域。为了优化模型性能，我们采用逐像素交叉熵损失函数进行模型训练；通过将损失函数应用于所有像素位置来计算总误差。具体而言，在完成模型训练后，在输入张量上求取所有像素位置上的损失值并进行汇总计算以获得最终的评估指标数值；通过这一过程实现对道路边缘特征的有效捕捉与学习。随后系统将根据输出结果进行进一步处理与分析工作：首先通过对预测结果进行多尺度验证以提升边缘检测的鲁棒性；接着结合历史数据信息实现时空关系建模；最后通过动态优化算法实现结果的有效更新与校准工作；从而最终得到更为精确可靠的边缘定位结果。

3.3 3D路沿优化

在此阶段中，在将DNN输出的每个扫描转换为3D路沿点的过程中，请先完成以下步骤：通过LiDAR输入扫描数据，并从中获取必要的信息来为先前推断出的路沿点分配高度值。为了确保由点云到BEV转换所导致的信息损失能够得到合理补偿，在这一环节上必须格外谨慎（如图2所示）。

在这一过程中，在基于每个扫描的所有路沿三维坐标点集合以及输入原始三维点云的基础上，并结合车辆运动轨迹数据，在对这些全部路沿三维坐标点集合进行连续构建的过程中（或：通过），从而生成完整的道路边缘三维模型。

标注生成过程如下：我们首先将不同类别的路沿检测进行分组，并采用体素子采样方法以平衡各簇间的密度分布。随后，在数据中具有相近密度的区域自动识别并执行聚类操作。为了实现这种自动分类的目的，在聚类阶段我们采用了DBSCAN算法来进行具体的划分操作。特别适用于处理具有相近密度的数据簇这一特点使得该算法更适合当前应用场景。通过DBSCAN算法得到各数据区域后我们进一步采用骨架化算法来提取路沿特征这一过程利用LiDAR获取的点云数据进行了专门优化从而得到完整的线性特征表示最终通过Ramer-Douglas-Peucker算法对提取到的道路骨架进行简化处理以减少数据点数量这一处理步骤能够根据设定的距离阈值确定保留的关键特征点位置并通过迭代优化实现最短路径的有效提取结果如图3所示完整而精确地反映了原始路沿的空间结构特征

在此阶段中，在当前阶段中

实验

在实验过程中，我们详细阐述了如何利用BEV表示法以精确呈现DNN在扫描级检测中的效果。同时，在另一个模块中，则负责基于我们估算的三维道路边界线数据集构建地面真实值。

单帧扫描路线沿估计：基于分割网络的对比实验中展示了两个不同容差下的具体表现（如表I所示）。其中每像素的空间分辨率定义为0.1米（即0.1\ \text{m}/\text{pixel}）。实验结果表明，在允许最多3个像素误差的情况下计算出的F分数普遍较高（\geq 75\%），这证明了所采用的深度神经网络模型在进行初步路沿估计方面具有良好的适用性。然而，在容差条件进一步严格化后（如减少至2\ \text{pixel}），整体有所下降（平均降至\sim 68\%），这促使我们在后续处理流程中引入更为严格的筛选机制以确保最终结果的质量。

3D路沿标注：我们进行了多组测试来验证由该方法产生的道路边缘估计对地面真实值的有效性。这些测试主要针对使用与未使用我们方法生成预标注的道路边缘进行了标注工作。在安装有LiDAR传感器的一辆原型车上采集了四个不同序列作为测试数据源。这些序列展示了多样化的路沿特征类型，并包含被植被遮挡的部分以及停放车辆的情况（如图4所示）。

图5展示了带有标记路径边界的标注工具实例。鉴于LiDAR点云在密度和分辨率方面的不足特点，在进行手动注记时往往需要耗费大量时间和精力，并且存在一定的技术难度——尤其是在对路沿进行注记时，则要求注释员具备较高的专业技能。为此，在简化注记流程方面采取了一种创新方法：通过使用具有z轴梯度色彩编码处理后的俯视图来进行注记操作，在此过程中特别突出标出路沿部位的高度变化特征。

我们采用精确制作的人工标记基准数据集来进行评估标定者的标记效果；该方法通过记录每个地图的注记耗时来评估标定者的标记效率；其中一项任务是完成图标的起始工作; 另一项任务则是利用预先标记的地图继续完成后续图标的注记工作。

该系统运用召回率、精确度和F分数作为评估标准，并将输入的三维多段线集合转换为三维点集合。随后，该系统通过特定的度量步长对原始数据进行采样处理。接着，在完成采样后，在处理后的数据基础上进一步利用三维欧几里得距离来比较这些三维多段线之间的相似性。

需要注意的是,距离测量的最大误差受限于离散化步长的一半。基于我们在实施细节中所提到的0.1米每像素的分辨率,表II列出了每个地图标注所得指标的平均值以及总体平均值和通过预标注改进。

基于贝格视图（BEV）分辨率，并采用10厘米（cm）宽泛度进行计数处理。
尽管在无预 annotated与有 pre-annotated两种情况下测得的结果基本一致。
主要原因在于所有标记工作均由人工完成。
我们确实观察到，在经过我们的方法生成后的 pre-annotated中整体质量有所提升。

在表III中, 我们展示了利用了我们的方法进行预标注, 从而将标注时间降低了约51%.

小结

在AD任务中对地面实况数据的要求非常大，在获取充足的数据时必须经过人工标注以确保准确性。半自动标注算法通过提高标注效率的方式显著降低了人工投入的同时也减少了运营成本。

我们在此研究中提出了一种基于激光雷达点云序列的3D道路边缘预标注方法。该方法首先在扫描级别识别道路边缘特征，在后续的第二个处理阶段对其进行进一步优化。

最终检测结果被存储为多个段落。基于测试车辆上配备了的激光雷达传感器的真实数据进行手动注标工作，以验证我们提出的方法具有适用性。我们的路沿石检测管道在减少手动注标时间方面表现出了50%以上的效率提升，并且在保证注标准确性的前提下实现了这一目标。

未来的工作包括采用规模更大的数据集进行深度神经网络（DNN）的训练，并深入探究替代架构以提升预标注的效果。同时，我们计划将该方法进一步拓展，并将来自RGB相机的数据纳入系统中以增强在复杂场景中的检测可靠性。