开源 | 自动驾驶中基于激光雷达的车辆道路和人行道实时检测！
作者 | dianyunPCL 编辑 | 点云PCL
点击下方卡片 ，关注“自动驾驶之心 ”公众号
ADAS巨卷干货，即可获取
点击进入→自动驾驶之心【3D目标检测】技术交流群
后台回复**【3D检测综述】** 获取最新基于点云/BEV/图像的3D检测综述！
代码链接：https://github.com/jkk-research/urban_road_filter
摘要
在自动驾驶领域中，在城市场景中对道路和人行道进行检测是一项面临诸多困难的任务。传统方法对于微小的垂直变化不够敏锐；而基于摄像头或传感器融合的方法已被广泛应用于区分可行驶区域与人行道/地面区域；然而这些方法对于高度差敏感度不足；因此我们转而研究基于激光雷达的技术；本文提出了一种实时（20Hz+）的解决方案；该方案不仅适用于道路与人行道检测问题本身；还可以用于局部路径规划；其中的人行道边缘检测采用了一种多算法协同的方式；为了验证结果我们使用了事实上的标准基准数据集KITTI以及我们的自采数据集并将代码在GitHub中开源
https://github.com/jkk-research/urban_road_filter。
主要内容
本文提出的方案采用了三种不同的方法来探测人行道的位置。值得注意的是该种方法不仅能够获取道路区域和分隔区的点云数据而且还能生成易于处理的简化向量这些结果对于其他路径规划算法具有重要价值原因在于它能够更简洁地表示道路区域（见图1）。为了构建城市道路与人行道环境的空间模型我们可以将之想象为一个扭曲而平缓的地图同时旁边还有一个略微不平的人行道区域（见图1）。从上空俯视的角度来看这两种场景可能会呈现出多种形式上述特性和简化的数据如图1所示其中激光雷达传感器位于路面上方所构建的空间模型如图1所示其中道路区域用绿色表示而人行道则用红色表示。
此图揭示了问题所在。在道路区域中呈绿色，在人行道区域中呈红色。两个通道的测量值以虚线表示。此外，在此图中同时呈现了一些人工制作的设施如地下排水沟及其他不平处
已公布的源代码为该方案提供了实现基础。（诚挚地邀请相关领域的技术爱好者与我交流）其输入为普通激光雷达采集的数据流，并无需摄像头或其他额外传感器设备参与处理。输出结果包含三维体素点云表示道路区域，并提供二维多边形描述来标识路边缘。采用星型搜索算法、X-Zero与Y-Zero方案等技术手段进行路径规划，并结合基于二维多边形的道路提取技术进一步优化结果。
人行道检测
用于检测人行道边缘的方法结合了星形搜索、X-zero以及Z-zero方法。这些方法均具有相同的最终目标——实现可靠的边缘识别——然而它们的工作原理各不相同。最终的结果即为这些方法所输出的逻辑结果。值得注意的是，在某些情况下，虚假检测可能导致假阳性路沿点出现在实际路缘之后。在这样的情况下，假阳性路沿点位于路沿之后形成的可能性较大：由于来自各种瑕疵体素的类似3D特征，在这种情况下工件可能会被误判为突出物（例如公共长凳），从而导致错误识别。多边形通常会设置在道路与第一个 detected road boundary之间（即在第一个真实 road boundary之前），这样后续road boundary将不会对最终结果产生影响。这种现象不会对检测算法产生负面影响，在这种方法中它甚至被视为正常情况的一部分：只要不存在假性体素就会出现这一现象，并且这种现象也不会干扰到算法的整体性能表现
星形搜索法
该方法将点云划分为规则区域；这些区域呈现出星形排列；其命名源于此。
从各个路段提取潜在的人行道起始点位置；其中所使用的算法对于基于Z轴的高度变化具有抗性；
这表明在实际应用中；即使激光雷达相对于地面呈现倾斜角度时；
在柱坐标系中处理点云（参见图2）
图2中展示了星型搜索方案的应用结果。以圆形布局显示的长方形框从中提取了一小部分区域数据。在放大后的图像右侧侧方方框内标有红点的位置标识了人行道起始位置。
图2中展示了星型搜索方案的应用结果。以圆形布局显示的长方形框从中提取了一小部分区域数据。在放大后的图像右侧侧方方框内标有红点的位置标识了人行道起始位置。
图3展示了用于扫描点云的截断框（即长方体），其顶点由8个坐标为P₁、P₂、P₃的点表示；在第2步至第4步之间，该长方体的方向和位置会随着增量旋转和平移而不断迭代变化。具体而言，在每一个bk（k=1）的情况下，在方向D上移动ni个连续增量以实现平移操作。为了便于理解我们提出的算法原理，在此附图3中展示了一个与之相关的对称平面π，并在附图4中给出了切割盒的侧视视图。
图3，从扫描点云上切下的单个矩形示意图
图4，图中关于点云分离过程和框框选择点参数的侧视图
基于星型结构的搜索策略算法流程图（详细步骤请参考原文链接https://t.zsxq.com/QjUbq3B）
X-Zero方法
这些方法能够绕过测量到的X和Z分量的人行道；这些算法均考虑到像素通道的数量；因此要求激光雷达与地面平面呈非平行关系；这已被前述两种算法以及城市道路滤波技术的整体框架所识别；在该方案中，去除了一个沿着X轴的方向数值；转而采用柱坐标系进行计算；如图6所示；该方案通过循环迭代的方式完成处理，并在每个像素单元上构建三角形结构。
图6，X-zero法，圆柱坐标系，单通道（环）
图7，X-zero方法，体素三角形可视化
Z-Zero方法
Z-Zero方法的核心特点在于采用滑动窗口技术，并采用5+5体素作为默认参数设置来计算角度值。具体的实现细节在此不做展开。
基于二维多边形的道路表示
在进行人行道检测时, 该算法能够生成一个多边形, 其矢量输出直接对应于被检测的道路区域, 这一结果可以直接应用于路径规划过程, 而且该算法能够区分两类道路边界: 一类为人行道区域, 包括被障碍物包围的边界(如图8所示, 这些边界通常被标注为红色条纹)
图8呈现二维多边形道路的示例场景，在该算法未考虑左方图像的情况下，则用于更深入地阐述场景的主要部分
参数设置
在微调解决方案时可供使用的参数有哪些？尽管即使采用默认设置也能获得满意的效果，请参考表1中的详细说明。一个关键的参数是关于激光雷达的主题及其帧名称——值得明确的是，在这种情况下该算法在多个应用场景下表现优异。允许通过多种参数组合来评估感兴趣区域的扩展范围—— ROI 可以通过 x_方向 参数以及最小和最大 x、y 和 z 参数来定义其边界坐标。值得注意的是，在 x_方向 参数中有三种不同的取值选项：负值表示后方区域，默认值为正数代表前方区域；而选择双倍值则表示对前后两个方向均感兴趣
实验
为了评估所提出的方法，在实验过程中进行了全面的实时数据分析与实验。图9展示了三幅图像以更加直观地阐述了我们的研究结果：第一幅图像显示了具有绿色体素的道路区域以及具有红色体素的人行道区域；值得注意的是，在20赫兹和30公里每小时的速度下收集的数据表明，在20 Hz和30 km/h速度下收集数据，并且这些数据不会对整体性能产生负面影响；此外，在此过程中还实现了精确的RTK GPS定位信息与激光雷达数据实现了精准对应；第二幅图像展示了无人机图像与研究结果进行叠加展示；第三幅图像仅展示试验场区域上方的画面
图9所示的左边部分展示了实验数据展示：主要街道以绿色线条表示为主轴线，而人行区域则以红色线条作为点缀。中间部分展示了融合技术的应用效果。右边则仅呈现无人机图像的视觉化处理效果。
本测试案例采用该方案进行车内测试，在左侧区域展示了摄像头捕捉到的画面，在右侧区域则通过不同颜色标出道路边界和人行区域，并展示了激光雷达生成的空间数据模型。各体素单元的比例依据激光雷达探测的有效强度计算得出。
总结
本文提出了一种新型的道路与人行道检测方案，在3D体素中引入了星形搜索、X-zero和Z-zero算法，并将这些方法结合使用以实现人行道路沿检测功能。此外，该方案还支持多边形输出格式，并可直接用于局部轨迹规划任务。
我们通过一系列实时测试、先前的数据收集以及离线分析对当前方案进行了全面评估。
值得注意的是，在应用X-zero和Z-zero算法时，默认假设激光雷达与地面保持平行状态。
值得注意的是，在应用X-zero和Z-zero算法时，默认假设激光雷达与地面保持平行状态。
相比之下，在现有方案的基础上本方案在处理复杂场景方面表现出更强的优势。
相比之下，在现有方案的基础上本方案在处理复杂场景方面表现出更强的优势。
然而，在某些特殊情况下可能需要采取不同的配置方式以适应特定需求。
然而，在某些特殊情况下可能需要采取不同的配置方式以适应特定需求。
此外，
作为一种新兴技术，
在学术界引起了广泛关注的新一代激光雷达系统，
其特点在于能够生成结构化的三维信息，
但其组织方式与传统传感器存在差异，
这种差异限制了现有算法的有效性，
因此本研究提出的方法并不适用于基于固态技术的新一代三维数据输入。
【自动驾驶之心 】全栈技术交流群
自动驾驶之心作为国内领先的自动驾驶开发者社区，在智能感知与算法优化方面处于领先地位；致力于实现各领域的智能感知与决策能力发展；涵盖目标识别（包括目标检测与语义分割）、场景理解（包括全景分割与关键点检测）、路径规划（含车道线识别）等基础算法研究；同时探索高精度地图生成（含SLAM与BEV感知）、轨迹预测（含深度估计与光流估计）以及硬件平台搭建（含多传感器融合）等多个技术方向；社区还为开发者提供AI相关岗位输送与职业发展支持等全方位服务内容
添加汽车人助理微信邀请入群
备注：学校/公司+方向+昵称
自动驾驶之心【知识星球】
希望深入探索自动驾驶感知技术（包括分类识别、目标检测与分割分析等核心技术）。智能驾驶定位与建模系统（采用SLAM技术和高精度地图构建）。智能规划与控制模块设计。行业技术方案优化及落地应用研究。人工智能驱动下的深度学习模型部署与实战应用。关注行业发展动态及技术创新方向。
诚挚邀请您扫描下方二维码加入我们的知识分享社群（仅限前三天），这里有最专业的行业专家和前沿技术支持；每天分享最新论文和技术代码，并提供实践指导；加入我们后即可获得独家学习机会。
