端到端自动驾驶的基础概念
欢迎大家关注我的B站：
嗜好薯片的Zheng同学的个人主页 - 嗜好薯片的Zheng同学 -哔哩哔哩视频 (bilibili.com)
目录
1.端到端自动驾驶的定义
1.1特斯拉FSD
1.2端到端架构演进
1.3大模型
1.4世界模型
1.5纯视觉传感器
2.落地的挑战
1.端到端自动驾驶的定义
全自动驾驶（即end-to-end autonomous driving）最初概念即被定义为"基于单一深度学习模型完成从传感器数据输入至系统决策输出的过程"；而如今这一技术的核心理念则发展为"确保所有感知数据在传输过程中保持完整性的同时实现整体性能的最大化"
1.1特斯拉FSD
在特斯拉FSD宣布转向全自 driving系统后，中国智能驾驶领域的多家公司纷纷推出了基于端到端架构的自动驾驶系统。然而观点者却往往质疑这并非真正的'全自 driving' ，而这一争议根源在于对'全自 driving'这一概念理解不够清晰。
1.2端到端架构演进
- 第一阶段：感知（端到端）。通过多模态传感器数据的整合与处理，在BEV视角下完成环境感知任务已经是当前系统设计中的主流方案。
- 第二阶段：决策与规划（端到端）。从预测至决策至规划的整体流程均采用深度学习方法，并集成于统一的神经网络架构中进行联合优化。尽管各模块均基于神经网络构建，但其内部优化机制仅局限于局部处理。
- 第三阶段：模块化设计（端到端）。在这一层次上，感知与决策规划不再依赖人类的理解结果而是通过特征向量的形式实现了两者的关联性，在这种情况下两个子系统无法独立优化而需实现跨模块的信息传递。
- 第四阶段：统一模型框架（One Model）。此时系统的整体架构也不再区分明确的功能边界而是形成了一个完全融合的统一模型框架。
1.3大模型
从端到端的方式与大型语言模型并不相同，在功能上它们各有侧重。大型语言模型特别注重其参数规模以及由此产生的智能特性（即智能涌现能力），而从层间连接的角度来看待整个网络架构时，则突出了梯度传递的流畅性和整体优化的可能性）。因此，在多数情况下大型语言模型确实能够很好地支持从输入直接推导出输出的任务设定；但并非所有场景都必须依赖于这种架构。
目前的大模型受限于车端算力及实时性的制约，在NLP领域的要求尚有差距。尽管感知领域的参数规模大得多，但LLM凭借其强大的推理能力和可解释性，在智驾决策规划方面的应用前景依然广阔。
1.4世界模型
世界模型是一种具备学习能力和系统性理解自然界运行规律和数学基础的先进模型体系。在自动驾驶技术研发中占据重要地位的世界模型充当着数据源的角色，在线实时处理能力显著提升的同时能够模拟各类常规工况并拓展部分车辆难以采集到的极端场景；其对于长尾分布问题具有显著价值并展现出显著的成本优势体现在其在线实时处理能力上。
世界模型自身能够理解和交互周围的环境及情况，并且只需优化或增添一些输出连接路径及组件即可实现完整的端到端流程。然而短期内这种方法的主要瓶颈在于计算资源（即车端算力）尚显不足。未来计划将探索蒸馏技术或其他降维方法，在保持对真实世界的理解能力的前提下最大限度地缩减模型规模。
1.5纯视觉传感器
一些从业者持有这样的观点：即端到端系统必须完全依赖视觉信息而无法采用其他类型的数据源。这一误区的形成主要是由于BEV范式在行业内被广泛接受。尽管多传感器的数据融合对模型性能有重要影响但目前尚不清楚哪种或多几种特定的传感器组合能够显著提升端到端自动驾驶系统的性能。
2.落地的挑战
- 技术路线：尚在探索中，并未形成统一的方向
- 数据：涉及数据量、数据标注质量以及数据分布特点等多个关键要素
- 算力：算力需求较大
- 测试技术：行业亟需创新性的测试评估体系与技术支撑系统，在自动驾驶测试场景构建等方面已取得一定成果
- 产业：整体上仍需完善上游技术与芯片等关键环节的发展