【自动驾驶轨迹规划之nuplan数据集】
欢迎大家关注我的B站：
郑某 stealing chips' personal center is his personal introduction page on B站, accessible via the URL https://space.bilibili.com/1353527764?spm_id_from=333.1007.0.0 bilibili.com
目录
1.概述
2 数据采集
3.开环与闭环仿真
4.数据注释
5.场景
6.规划框架
6.1Train
6.2Simulation
6.3Metric
6.4Visualization
7.下载
1.概述
nuPlan作为第一个具有规模且国际领先的自动驾驶规划基准 ，标志着该领域的重要里程碑。
尽管基于机器学习的方法逐渐增多用于自动驾驶路径规划研究中，
但因现有数据集、模拟环境和评估标准尚不完善等原因，
在实际应用中仍面临诸多挑战。
现有的自动驾驶汽车运动预测基准库（包括Argoversee平台等）
2 数据采集
nuplan团队构建了规模庞大的数据集库...该集合涵盖北美与亚太地区1200座显著的城市间驾驶行为特征差异的城市（波士顿、匹兹堡、拉斯维加斯和新加坡），每座城市提供了标准化的连续驾驶记录。
我们的研究重点是具有多样性的驾驶环境**A^2+B^2C**D^3****E^4+1****F^5+2等复杂场景（如高速公路急弯路段等）**中的人工驾驶行为分析与模仿学习系统开发项目。其中不包含大雨及夜间行驶的数据。这些数据全部来源于驾驶员的实地操作记录，并经过严格筛选后用于模仿学习训练集构建工作。研究团队首先明确目标位置（如上下车点、公交站点或停车场），然后直接前往指定地点进行路径规划与行为采集工作
我们使用以下传感器：
- 5 倍激光雷达（20Hz）
- 前后保险杠配备2个Pandar 20P传感器
- 左右车柱各配备2个Pandar 40P摄像头
- 车顶安装1个Pandar 40PT摄像头
- 分辨率高达2000×1200像素的8倍光学摄像头（1/IMX39）
- D3 工程模块搭配D3RCM处理器
- 霍尼韦尔HG1120 IMU支持高速运动检测（1秒一次）
- Trimble BX992高精度定位系统稳定运行（每2秒一次）
所有传感器遵循其外在与内在特性进行校准（仅限相机）。摄像头与激光雷达相互协调运行。
3.开环与闭环仿真
采用闭环与开环仿真策略进行仿真实验研究。闭环表征了自我车辆与其他代理车辆在运行过程中可能偏离预设轨迹或日志记录的能力。除了为规划人员提供基线实施方案外,本研究同时针对传统智能驾驶员模型（如IDM）以及基于机器学习的智能代理进行了基准测试
- 旨在准确再现道路交通流量模式。nuplan研发了一种基于动态变化分析的智能交通信号控制系统。该系统通过分析实际观测到的道路车辆运行数据来判断各盏交通信号灯应处的状态。最后我们通过人工设计不同驾驶情境（如车道变换、行人与车辆互动等）来探索具有独特特征的道路使用模式；同时对这些情景进行多维度评估，并计算其典型性能指标以及在不同情况下的具体表现。
4.数据注释
与 nuScenes 类似，在我们这里呈现的是详细的 2D 高清地图集。这些地图由人类依据语义类别进行标注完成，并包含如道路、人行道等具体标注内容。
我们输出以下类。包装盒标签由不同的颜色表示：
- 橙色类别的车辆：涵盖所有具有四轮及以上以及拖车的 wheeled vehicles。
- 红灯区仅限自行车、摩托车和三轮车。
- 蓝区适用于所有行人类型及婴儿推车与电动 wheelchair users.
- 黑色警示锥用于临时调节道路流量。
- 黄区通常设置为可移动或不可移动的障碍物。
- 未显示的具体施工区域标志
- 绿色区域包含 miscellaneous objects such as animals, debris, movable and pullable items, and permanent poles.
请注意, 我们仅提供与自动驾驶汽车相关的可行驶路面和人行道上选定部分的感知轨迹信息. 其余轨道的数据则通过语义映射技术进行过滤处理.
5.场景
在全面评估运动规划模型的过程中（即考虑），基础数据分布情况至关重要。通常情况下，在直行的情况下进行车辆规划是较为简单的问题。正是在面对具有挑战性的极端情况时（例如复杂的道路环境），规划器才能真正展现其性能水平。基于此开发了一个框架来挖掘和标注感兴趣场景的数据集。如需更多细节，请参考这篇博文：https://motional.com/news/technically-speaking-learning-with-every-mile-driven
本节中我们将介绍一些具有挑战性的案例研究，并如我们的系统所识别并分析的那些案例所示。
无保护的横转弯
密集的车辆交互
前面的乱穿马路者
变道
在接送区自我
6.规划框架
nuPlan推出了一个免费开放源代码的工具包,旨在帮助开发者构建基于机器学习的路径规划系统.本节将详细讲解这个工作流程中的四个关键环节:训练模型.模拟模型.衡量性能以及可视化结果.
6.1Train
我们构建了一个以PyTorch为基础的智能优化框架，并通过多维度数据输入对机器学习驱动的路径规划系统进行训练。该框架具备高度可定制性，并可通过简单的接口快速接入新算法组件或调整关键参数设置以满足不同场景需求
6.2Simulation
我们的核心组件是场景模拟系统。经过模块化设计，在多个关键领域实现了高度可分离性：包括数据集处理能力、观察模型架构、自主规划机制、代理模型配置、运动控制方案以及结果可视化效果等多维度要素均形成了独立的功能单元。值得注意的是，在这一架构中我们并未限制组件间的耦合关系而是提供了丰富的选择方案与基准架构供不同需求场景下灵活配置：这种设计理念使得研究人员能够集中精力构建统一的研究平台而无需面对以往开发过程中的分散式解决方案所带来的复杂性挑战。
6.3Metric
在一组方案上评估规划师后，我们计算了许多指标，这些指标分为 5 类：
- 交通规则违规 用于评估遵守常见交通规则的程度。我们基于碰撞频率（包括与其他智能体的碰撞）、行驶路径的异常频率（如越轨行驶）、领先智能体之间的最小时间间隔以及碰撞持续时间和通过过程中的相对速度等指标来计算通过距离函数。
- 人类驾驶相似性 用于评估与人类驾驶行为的一致性水平。例如，在纵向方向上比较速度偏差，在横向方向上比较停车位置偏差，并将车辆的振幅和加速度变化与人类的标准进行对比。
- 车辆动力学 从骑行者舒适性和轨迹可行性的角度量化骑行体验。骑行者舒适度通过道路振动、加速变化、转向频率以及车辆振荡情况进行综合评价；而轨迹可行性则依据是否违反预设的安全性和运动学标准进行判定。
- 目标实现 基于L2距离计算地图上航点完成路径的比例
- 特定方案的指标 针对特定策略进行量化分析。例如，在变道操作中测量并评分目标车道上发生碰撞的时间长度以及前后代理之间的持续时间间隔；在处理行人或自行车时，则分别计算他们的相对速度，并根据其位置关系进行综合评估。
6.4Visualization
对于研究人员而言，在迅速迭代新的机器学习规划模型时必须具备细致地评估模型性能的能力。为此我们打造了一个集成化的人工智能交互式可视化平台nuBoard该平台不仅具备强大的语义图显示能力还能够呈现自身车辆以及场景中各自由行主体和交通信号设施等关键要素。此外它还提供了关于规划人员绩效的关键指标统计。
7.下载
这里我们列出了 nuPlan 数据集的不同版本。
获取nuPlan数据集旨在满足非商业用途的要求，并有助于我们更系统地追踪其使用情况。
此数据集也可以从 AWS上的 Registry of Open Data 获取。
可以在 GitHub 存储库中获取 nuPlan 数据集的开发套件。