[论文笔记]End-to-End Learning of Driving Models withSurround-View Cameras and Route Planners
End-to-End Learning of Driving Models using Surround-View Cameras and Route Planners
作者指出，在自动驾驶过程中仅依赖前向摄像头获取的信息不足以覆盖全部驾驶数据。
这使得建立可靠的自动驾驶系统难度较大。
因此本研究采用了全方位传感器配置方案。
同样地，在现有的视觉感知技术中，默认依赖单一视角（如单目摄像头）进行数据处理仍然存在局限性。
为了弥补这一缺陷，
本研究通过引入全局路线规划方法来提升系统性能。
本文基于端到端的驾驶模型。该系统通过摄像头及路径规划模块生成相应的驾驶控制。
GPS信息与全局Map分别被全连接层与卷积神经网络（CNN）用于特征提取；各个摄像头采集的数据经卷积神经网络（CNN）处理后进入长短期记忆网络（LSTM）完成进一步的特征提取。随后所有数据统一传递至全连接层，并由两个功能模块（FN）生成转向指令与速度指令。
CNN采用在ImageNet 数据集上预训练的ResNet34 模型。
Surround-View and TomTom route planner
数据说明
传感器设置：
八个摄像头按照每隔45度布置一个进行安装实现环向覆盖360度的画面采集配备GoPro Hero 5黑体型号设备各摄像头均以60帧/秒的帧率拍摄1080p分辨率的画面具体安装布局请参考下图
地图信息的使用：
基于Luxen和Vetter开发的实时路线算法构成了我们的路径规划系统。我们利用过去记录的行驶轨迹（一系列GPS坐标点）作为输入数据，并通过该算法确定车辆在路网中的位置。此外，在前300米范围内收集的道路规划信息通过其对应的GPS标记来标识路径走向。
Luxen, D., Vetter, C.: Real-time routing using openstreetmap data. Proceedings of the ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems (2011)
人类专家驾驶数据：
以50Hz在汽车的CAN总线上记录驾驶操作，例如方向盘角度和车速。
车辆里程计：
该设备通过内置模块捕捉当移动中产生的18Hz GPS数据和200Hz IMU测量值
数据流时间同步：
所有传感器的内部时钟均已实现与GPS时钟的有效同步。视频帧在最终环节达到的最大误差值分别为8.3毫秒以及0.5秒，在CAN总线上传输至视频帧的最大误差值则为10毫秒。这些结果都属于可接受范围，并且这是因为人类驾驶员在面对意外事件及预期情况下的平均反应时间通常在1.3秒至0.7秒之间。
数据集共包含60个小时的驾驶数据。和其他数据集的对比。
其中s_{\text{转向}}^{(t - k + 1:t)}代表前k个时间段内专家驾驶员的转向行为数据,V代表专家驾驶员的速度记录,L代表车辆的位置坐标
I为相机图像，P为顶层的预定路线信息。
损失函数如下：
其中80%的数据相当于48小时的真实驾驶时间，并且总共有约170万个同步序列样本。
优化器使用Adam ，初始学习率为0.0001，batch size为16，共5个epochs 。
实验
与[9]、[77]提出的另一种方法相比，在本文的数据集上分别训练另外两个网络，并将它们与当前方法直接比较。以确保公平性，
遵循[9][77]的研究框架，
仅采用一个前置摄像头，
并预测未来0:3秒内的驾驶行为。
通过均方误差（MSE）评估结果，请参考下表
该研究团队提出全连接学习方法用于自驾车
[77] Xu, H., Gao, Y., Yu, F., Darrell, T.: End-to-end development of driving-related systems based on comprehensive video data resources. In the field of computer vision and pattern recognition, specifically at the CVPR conference (2017).
本文进行了不同地图作为路线规划器的研究对比。评估结果表明，在预测性能方面。而OSM方法并未显示出明显的优势。这与其复杂度较低的特点有关。从而使得转向角预测任务的表现得到了显著提升。
尽管环视相机在测试集上的预测性能获得了提升，并且能够满足实际应用的需求。然而，在实际使用中会增加计算负担，并导致预测效率下降
进一步研究的结果表明，在要求车辆通过控制行驶速度以向其他潜在的道路使用者提供通行权的情况下特别有用。具体而言，在那些缺乏交通信号灯及停车标识的道路交叉口上设置了较多的人行道区域较为合理；而在那些缺乏交通信号灯及停车标志的交叉路口中设置了较多的人行道区域更为理想。如前所述，在那些缺乏交通信号灯及停车标志的交叉路口上设置较多的人行道区域能够有效减少事故风险；而在那些缺乏交通信号灯及停车标识的道路交叉口上设置较多的人行道区域则有助于提高道路通行效率。此外，在那些缺乏交通信号灯及停车标识的道路交叉口上设置较多的人行道区域还能够显著减少事故风险；而对于那些缺乏交通信号灯及停车标志的道路交叉口，则应当优先考虑设置人行横道以确保安全与效率并重。本文还特意设计了相关实验来进行验证
通过对比环视视野与前向视野，在多数情况下（通常情况），环视视野显著提升了速度控制性能；而对于高速公路或乡村道路上的"高速"驾驶情境，则未显示出明显优势。
定性分析采用不同的标记符号来展示各方法的操作模式；通过操作盘和速度表来体现准确性。
右转弯和环形交叉口的定性测试
作者的观点是未来的研究可能关注于整合交通代理行为（如汽车与行人）以及交通控制装置（如信号灯与标志）以实现检测与追踪功能模块。
补充知识
TomTom Maps3
商业高精地图
OpenStreetMaps
该数据涵盖有关道路的详细空间和语义信息。如道路名称、道路类型（如高速公路、单行道、步行道等）、速度限制及建筑物地址等。
灯和标志）合并检测和跟踪模块。
补充知识
TomTom Maps3
商业高精地图
OpenStreetMaps
该段数据包含了关于道路的详细细节及其语义信息。其中包含具体名称、类型（如分为高速公路、人行道等）、速度限制以及相关建筑地址等内容。