自动驾驶制图中的深度学习

点击上方“小白学视觉 ”，选择加"星标 "或“置顶 ”

 重磅干货，第一时间送达

深度学习在自动驾驶技术的各个环节得到了广泛应用，在感知、预测和计划等方面发挥了重要作用。此外，在制图方面也展现了良好的应用前景，这成为实现高级自动驾驶不可或缺的技术支撑。

准确的地图信息对于实现自动驾驶功能不可或缺。
能够自动完成路线规划、本地化处理以及提升感知效率。
然而，在缺乏地图信息的区域，
在这些区域中，自动驾驶汽车必须依靠自身的能力来构建和更新地图数据以保证其运行的有效性和安全性。

离线映射与在线映射

在离线映射方案中进行数据收集时，在一个集中位置整合了各种传感器数据。这些数据来源包括但不限于卫星图像以及由车载设备如相机或激光雷达收集到的数据。这些数据可能源自同一辆车在同一地点多次经过的情况，并可能由多辆不同的车收集。地图渲染采用离线构建的方式进行，并需人工标注者对地图中的语义信息进行标注并审阅最终成果。传统的地理信息系统采用上述离线方法运作，并将经过标注和精挑细选的地图信息传递给道路上行驶的各种车辆

车上的实时地图构建任务得以实现。其中一种典型应用模式包括基于同时定位与环境建图的应用。当前研究的主要方向集中在对道路表面标记点位及其意义特征的研究，并在此基础上形成了具有较高实用价值的新一代制图方案。此外，在这种架构下形成的动态更新机制使得系统具备更强的整体性能。

SD Maps与HD Maps

基于输入分辨率的不同特点，在地图应用中主要分为两类不同的深度学习方法：一类专注于地图拓扑结构识别（如道路网络示例），通常仅考虑较低级别的地理特征；另一类方法则专注于高精度的道路要素识别（如车道线、路面箭头等语义标记），这类应用通常要求厘米级分辨率的数据）。相应地，在本文后续讨论中将分别简称为SD映射和HD映射两种类型的地图表示技术。

SD映射（道路拓扑发现）

深度学习在地图上的早期阶段主要致力于从低分辨率的航空图像中解析道路拓扑结构。该技术开发出一种有效的解决方案以覆盖SD maps中的丰富细节。这些道路拓扑网络在自动驾驶环境下资源有限的情况下发挥重要作用——特别是用于路线选择和导航功能。然而，在这一领域的一些研究方法与后续针对高清地图的研究紧密关联，在此进行系统性综述以探讨其发展脉络和未来方向。

该系统基于ICCV2017会议利用从卫星获取的高分辨率航拍图像构建了结构化的道路网络。该系统首先进行了语义分割，在此基础上处理生成的道路路线图，并应用细化和修剪算法以优化道路细节。由于语义分割过程中对遮挡物如树木、建筑物等的识别不足导致了这一现象。针对这一问题，该系统采用了A*搜索算法来生成连接假设以填补识别误差。

RoadTracer（CVPR2018）识别出不可靠的语义分割结果，并将其作为中间表示消除了。它通过迭代图构造有效地提取了道路拓扑结构。该算法需要作出判断，在特定方向上前进预定的距离。

该方法（ICCV2019）可能借鉴了RoadTracer的思想，并去除了中间表征的形式；它通过整合各类建筑形态（如道路与建筑街区），将其统一表述为封闭多边形；该系统遵循迷宫墙追踪者模式设计，在描述上既巧妙又简洁。

PolyMapper基于MaskRCNN架构识别建筑物与道路的边界掩膜。通过该掩膜识别出关键顶点，并确定起始点位置后运用递归神经网络对所有顶点进行自回归迭代处理以生成闭合多边形。

高清映射（车道信息提取）

SD地图未能提供自动驾驶汽车安全定位所需的关键细节和准确信息。具有车道等级标注的高清地图对于实现自动驾驶具有关键的重要性。

HD地图通常采用高分辨率的鸟瞰图（BEV）进行生成，这种图像通常是通过融合车载摄像头图像及激光雷达扫描数据来完成的。

基于稀疏点云扫描数据进行接收并生成具有车道边界实例的道路网络层次化表示的方法中包含两个递归神经网络组件分别负责确定各条车道线起始位置以及依次沿着各车道线连接后续顶点这样的过程两个递归神经网络采用层级架构组织从而实现了对道路网路细节特征的有效捕捉与建模

它设计了一种称为"折线损失"的概念

HRAN采用每像素5厘米分辨率，在20厘米精度范围内实现约91%的召回率（FRR）值。主要故障源于漏掉或多余的车道线检测结果。需要注意的是，在某些情况下绝对准确并非最终目标（NIST），因为人工校验仍需进行以修正错误判断的情况。这些问题相对容易解决。通过未来的'深度边界提取器'项目采用更高梯度图像处理技术可能会有效识别并修正FP栏杆被误判为车道线的问题

基于端到端深度学习的人行横道分析系统（一种专为绘制精确人行横道而设计的创新方法），首次在ECCV 2018会议上获得认可

深边界提取器（CVPR 2019）用于道路边界提取，并基于卷积循环网络实现折线法进行道路边界检测

该网络通过迭代的方式处理旋转后的区域-of-interest（ROI），并输出与道路边界相对应的折线顶点。该系统首先预测端点位置。对于每一个预测出的端点位置，在其为中心的位置上裁剪并旋转对应的特征图片段，并计算出下一个关键点的位置。上述过程属于自动回归模型。

DAGMapper（基于其在ICCV 2019上的研究成果用于学习车道拓扑地图）进一步优化了对复杂场景的处理过程。该系统特别关注于分叉与合并等具有挑战性的交通情况，并通过利用激光雷达强度图生成更为精确的有向无环图（DAG），从而实现了对传统HRAN方法中使用的简单折线模型的有效替代。

DAGMapper的主要功能也是一个循环卷积头。该系统通过不断关注以最后一个预测点为中心的裁剪特征图补丁来推断下一步的位置。该系统在原有基础上进行了改进，并引入了对节点状态的新分类机制。

注意

深度学习生成的结果需被设计为便于自动驾驶堆栈集成使用，并便于人工标注者进行修改。

目前的高清制图程序致力于围绕道路边界展开，并精准提取车道线及其复杂的交叉连接模式以及人行横道边界。

所有高清图像处理的关键要素是循环卷积网络。该网络通过迭代过程提取当前标注点附近的特征图，并预测后续的标注位置。

下载1：OpenCV-Contrib扩展模块中文版教程

关注并回复「小白学视觉」公众号后台发送「扩展模块中文教程**」即可获取独家发布的第一份OpenCV扩展模块中文版教学资源包！内容涵盖安装步骤详解、SFM算法原理及实现、立体视觉开发要点解析等丰富的内容章节

下载2：Python视觉实战项目52讲

关注「小白学视觉」公众号，在其后台回复：Python视觉实战项目**”，即可下载包含图像分割在内的31个实践项目包（如图像分割、口罩检测等），助您快速掌握计算机视觉的核心知识。

下载3：OpenCV实战项目20讲

关注并前往「小白学视觉」公众号的后台

交流群

诚邀您加入我们的公众号读者交流群，在此平台我们期待与同行们共同探讨各类前沿技术及创新应用。目前拥有SLAM技术研究、三维视觉开发实践、智能传感器创新平台等特色群组（以下将逐步细分）。为了确保 orderly 的讨论秩序，请您提前做好相关信息准备并按照指定格式备注：[昵称] + 学校/公司 + 研究方向。如张三同学来自上海交通大学，则可填写为‘张三 + 上海交大 + 视觉SLAM’等具体形式。请通过扫描下方微信二维码加入，请确保填写完整 accurate 的个人信息以避免被误认为广告信息或无关人士。一旦您成功加入，则会根据您的研究领域自动分配至相应的微信群。