人工智能之自动驾驶系列（一）：概要

人工智能之自动驾驶系列（一）：概要

版权声明

内容说明

关键词

一、自动驾驶背景

随着深度学习技术的崛起，人工智能逐渐成为公众关注的焦点。自动驾驶作为人工智能在实际应用中的重要体现，更是倍受关注并倍受期待。

1.1 自动驾驶的概念

自动驾驶，也可被称为无人驾驶、无车等，但这些术语之间存在细微差别。在英文中常见的术语包括autopilot、automatic driving、self-driving、driveless等，这里不做深入讨论。在概念上，自动驾驶行业已形成明确的等级划分。主要采用SAE国际标准。自动驾驶的分级标准主要基于安全性和技术复杂度，具体包括基础级、高级级和顶级级三个层次。

0级：人工驾驶 ，即完全由人类驾驶员进行控制操作；
1级：辅助驾驶 ，通过驾驶环境对方向盘和加减速中的一项操作提供辅助，其余操作由驾驶员完成；
2级：半自动自动驾驶 ，通过驾驶环境对方向盘和加减速中的多项操作提供辅助，其余操作由驾驶员完成；
3级：高度自动驾驶 ，或称有条件自动驾驶，由自动驾驶系统完成所有驾驶操作，驾驶员需在必要时做出相应响应；
4级：超高度自动驾驶 ，由自动驾驶系统完成所有驾驶操作，驾驶员无需对所有系统请求做出响应，包括限定道路和环境条件等；
5级：全自动驾驶 ，在所有可由驾驶员处理的道路和环境条件下，自动驾驶系统均可自主完成全部驾驶操作。

分级的核心区别主要体现在自动化能力上

1.2 前沿动态

当下，无人驾驶技术发展正如火如荼，简单梳理了2016年来国外自动驾驶的一些大事件：

2016年1月，通用汽车斥资5亿美元投资于Lyft（美国第二大移动出行公司），随后斥资3亿美元收购其竞争对手Cruise Automation，此举标志着传统车企纷纷向“以资金换技术”的模式转型。

2016年5月，美国俄亥俄州一名40岁男子Joshua Brown在驾驶特斯拉Model S至一个繁忙的十字路口时，与一辆大型拖车发生严重事故， Model S的Autopilot自动辅助驾驶模式在事故时已开启。此次事故并未停止特斯拉在无人驾驶领域的投入与发展，反而大幅增加了研发和投资强度。面对现有技术中存在的局限性，研发更先进的技术无疑是解决之道。

2016年7月，宝马、英特尔和Mobileye宣布将联合合作研发无人驾驶汽车，优势互补，各取所需，同时也减少了对自身主营业务在自动驾驶技术上的资源投入。类似的合作模式曾在微软、英特尔、戴尔联想等多家公司中出现。

2016年8月，新加坡无人驾驶出租车项目科技公司nuTonom宣布，世界上第一批无人驾驶出租车正式投入载客运营。

2016年8月，Uber斥资6.8亿美元收购无人驾驶货车公司Otto，Otto联合创始人Anthony Levandowski曾为谷歌无人驾驶技术团队的核心成员。此外，Uber斥资5亿美元构建自身地图服务，并与沃尔沃共同投资3亿美元研发自动驾驶技术，基本完成了无人驾驶技术领域的布局。值得注意的是，今年2月，Google子公司Waymo对Levandowski提起诉讼，指控其在离职前窃取公司自动驾驶汽车机密资料。

2016年8月，福特与百度共同投资1.5亿美元用于激光雷达制造商Velodyne的建设。

福特集团计划在欧洲开展无人驾驶汽车测试项目;
沃尔沃汽车公司承诺将在华开展100辆无人驾驶汽车的测试工作;
通用汽车的无人驾驶汽车在雪地测试中表现优异;
特斯拉创始人马斯克表示，他将于11月或12月展示无人驾驶汽车从洛杉矶到纽约的首次演示。

此外，我们也可以关注国内自动驾驶的情况，毕竟这与我们密切相关。从战略布局和技术实力来看，巨头公司如腾讯、阿里、华为等都与百度不谋而合，其技术成果也多与百度不谋而合。就目前而言，如何最好地进入自动驾驶领域，似乎也是这些巨头公司一直在思考的问题。重点来说说百度：

百度是BAT三家中唯一一家在无人驾驶技术研发上大举投入的公司，百度与Google在技术优势上不相上下，均具备强大的人工智能和深度学习技术储备。百度与福特投资了激光雷达制造商Velodyne，同时与英伟达达成合作，双方在车载计算芯片领域展开深入合作。百度与北汽达成战略合作伙伴关系，与宝马、奇瑞、比亚迪等多家汽车制造商展开技术合作。

复制代码

* 2013年，百度研究院启动无人驾驶项目；
* 2014年7月，百度确认已开始"百度无人驾驶汽车"研发；
* 2015年12月，百度正式成立自动驾驶事业部，推出"三年商用，五年量产"的时间表，预计2018年在城市简单路况下实现无人驾驶商用，2020年前逐步实现高速公路和普通城市道路上的全无人驾驶量产。
* 2016年9月，百度L3事业部正式成立并更名为智能汽车事业部，已获得美国加州第15张无人驾驶测试牌照，
* 2016年11月，百度在公共道路上测试L3级自动驾驶汽车。
* 2017年4月，百度宣布推出"Apollo（阿波罗）计划"，将提供一个开放、完整、安全的[软件平台](http://apollo.auto/)，帮助合作伙伴快速搭建完整的自动驾驶系统。该平台涵盖车辆、硬件、软件和服务四大部分，百度将选择协同度和兼容性最佳的合作伙伴，共同组成协作联盟，降低无人驾驶技术门槛，加速技术普及。百度也是全球首家公开自身技术和平台的无人驾驶技术企业。

腾讯于2016年下半年成立了自动驾驶实验室。现已有投资入股特斯拉，但不直接参与公司运营。并联合四维图新入股地图公司Here。于2017年5月与上海国际汽车城签订合作意向书，将无人驾驶汽车测试项目组落户上海。

• 阿里：阿里正与中国兵器工业集团公司共同推进北斗卫星导航系统在民用市场的应用。在汽车领域，阿里于2017年4月与上汽推出首款互联网汽车，这是其在汽车互联网化方面首个成果，也是为实现无人驾驶技术做准备。
• 华为：2017年，华为发布白皮书，系统介绍了电信网络对汽车互联的价值，以5G技术作为无人驾驶的关键技术。涉及领域包括智能停车、车队管理、车载娱乐数据、LTE紧急服务等。报告显示，截至2017年2月，华为已组建无人驾驶研发团队，拥有200余名专业开发人员。在巴塞罗那国际通信展会上，华为与沃达丰展示了其最新的创新成果，包括基于蜂窝技术的C-V2X（智能车辆通信）解决方案。
• 传统汽车公司：广汽、北汽等传统车企纷纷加速布局无人驾驶技术研发，积极抢占市场先机。

接着，主要是一些初创公司。与其他创业领域竞争激烈、蓬勃发展的情况相比，无人驾驶这一领域目前数量极为稀少，真正拥有核心技术并同时在商业模式上也已取得一定成熟度的创业公司更是凤毛麟角。而且，大多数这类公司都集中于某一细分技术领域，例如，它们可能在自动驾驶技术中深耕，或者在车载计算能力上有所突破。

蔚来科技：最受关注的创业公司之一，已成功完成D轮融资 round。景驰科技：原百度高级副总裁王劲创立，已成功完成天使轮融资 round。地平线机器人：专注于计算机视觉芯片系统和自动驾驶平台研发，已成功完成B轮融资 round。关注领域：计算机视觉，专注于辅助驾驶、智能监控或模式识别等解决方案。速腾聚创、禾赛科技、北科天绘、北醒光子类：聚焦于各类激光雷达系统。行易道类：专注于自动驾驶毫米波雷达解决方案。其中，最受关注的初创公司（景驰科技、地平线机器人类）大多与百度系（原百度高管或技术负责人）相关联。

总体来看，当前资本对自动驾驶领域的涌入速度之快，使得行业竞争异常激烈，形势瞬息万变。关于行业实力的强弱，建议参考以下两个报告，由于评估标准的差异，结果也存在显著分歧。

• 市场研究机构Navigant发布的最新报告中，列出了18家未来10年内最有可能把L2、L3、L4级别自动驾驶汽车带进消费市场的18家公司，还根据技术、市场战略、生产实力、耐力、销售，营销和分销等9个不同维度对各公司的自动驾驶进展打分排名。其中，福特、通用（GM）、尼桑、戴姆勒位于第一梯队，而常被我们提起的Google Waymo、Tesla与宝马等一并分布在第二梯队，百度、Uber、nuTomy等位于第三梯度。
• 美国科技媒体The Information调研结果，主要根据技术、工程、商业模式对当今主要的17家发展L4级别及以上无人驾驶技术的公司进行了一次综合评估和排名，Google Waymo排名第一，Uber第二，戴姆勒、特斯拉nuTonomy、百度、通用等普遍靠前。

1.3 市场分析

这里就拿数据说话：

• 《2017-2021年中国互联网+汽车行业发展前景预测及投资分析报告》
• 《奔向2021：自动驾驶汽车发展现状及重要行业驱动分析报告》
• 《2017年上半年全球无人驾驶投融资全盘分析报告》
• 《2016年智能网联汽车发展报告：自动驾驶机遇、风险及挑战全解析》
• 《2015-2021年中国无人驾驶汽车市场分析及投资策略研究报告》

据《财富》网站报道，英特尔和市场研究公司Strategy Analytics联合开展的一项最新研究表明，2035年无人驾驶汽车将创造达8000亿美元的市场规模，到2050年，与无人驾驶汽车相关的经济活动规模将达7万亿美元，包括无人驾驶汽车提供的打车服务规模将达到约4万亿美元，无人驾驶汽车提供的快递和商业物流服务规模将达到约3万亿美元。

根据麦肯锡预测：到2025年，无人驾驶汽车可以产生2000亿~1.9万亿美元的产值。

据另一家全球分析机构IHS Research分析：全球无人驾驶量产汽车将在2025年上市，估计销量可达23万辆；到2035年，无人驾驶汽车年销量将达到1180万辆，约占总销量的10%；2035年无人驾驶汽车在北美市场份额可以达到29%，中国无人驾驶汽车市场份额为24%，欧洲市场份额为20%。

通过上述材料，我们可以清晰地认识到，自动驾驶市场的潜力空间非常巨大。投资界和产业界均普遍看好这一领域的发展前景。下面从需求端进一步阐述

• 个体需求 ：开车本质上是一个需要保持长久视觉分析和肌肉反应的机械重复运动——这并非是人类的长处也往往不是人类所喜欢做的事情，而这恰恰是机器所擅长的。
• 市场需求 ：自动驾驶不仅可以应用于交通出行，而且对于物流运输、城市规划等都将产生根本性的革新。
• 资本需求 ：目前已有大量资本流入自动驾驶涉及的大数据、新型传感器、深度学习技术、全套解决方案等，资本的流动往往是行业发展最关键的催化剂，有投入就会要求回报，资本拥有者、想赚钱的各大公司必定会竭尽全力推动无人驾驶的尽早到来。
• 社会需求 ：从现阶段美国、德国、中国等各个国家针对自动驾驶的政策来看，社会需求强烈，国家重视度也极高。

据报道称，如果自动驾驶汽车得到推广，每年可避免超过3万因交通事故死亡的人数，节省出行时间成本的40%，并减少800亿小时的交通拥堵浪费时间，降低燃油消耗的40%。

1.4 应用场景

根据应用场景的不同，自动驾驶系统可分为高速自动驾驶和低速自动驾驶（速度低于20km/h），其中后者实现难度较低。现有看好的主要业务模式包括产品输出、技术输出以及物流合作等。高速自动驾驶在个人项目中难以匹敌，因此我们重点讨论低速自动驾驶的主要应用场景：物流场景：高速无人驾驶为城际物流运输车队提供自动驾驶技术，低速无人驾驶则可解决末端物流（即最后3公里），结合自动取货装置，实现无人配送；移动广告平台：低速无人驾驶可实现全天候、低成本的移动商业广告；特定应用场景，如景区游览车、低速代步工具、自动行驶婴儿车、移动行李箱等。

1.5 国家政策

• 中国 ：2015年，国务院印发了《中国制造2025》，将智能网联汽车列入未来十年国家智能制造发展的重点领域，明确指出到2020年要掌握智能辅助驾驶总体技术及各项关键技术，到2025年要掌握自动驾驶总体技术及各项关键技术。至今，已陆续出台《中国智能网联汽车标准体系建设》、《先进驾驶辅助系统术语和定义》、《中国智能网联汽车技术发展路线图》、《中国智能网联汽车技术发展路线图》。
• 美国 ：2016年发布了《美国自动驾驶汽车政策指南》，有比较完整的自动驾驶汽车法规。
• 德国 ：早在2013年便有允许自动驾驶车在国内进行路试，目前允许自动驾驶汽车路试，要求汽车制造商配备自动驾驶模式的汽车安装黑匣子，禁止特斯拉用“自动驾驶”做宣传。
• 其他 ：日本、法国、英国、新加坡、韩国等国家也已陆续出台相关政策，联合国目前也有着手修改国际道路交通安全法规，编制全球统一的自动驾驶汽车技术标准，制定汽车自动驾驶安全标准。

初步结论

二、技术框架

自动驾驶是一个全面的软硬件协同作用系统，其中核心技术包括汽车制造技术、自动驾驶芯片、高精度地图、传感器和通信网络等。自动驾驶系统在汽车上的硬件布局如图所示：

接下来重点关注自动驾驶软件部分，总体上可大致分为如下三个模块：

环境感知模块主要依靠传感器感知环境信息，包括摄像头、激光雷达、毫米波雷达、超声波传感器等多种类型，同时通过GPS模块获取车辆运行状态信息。具体而言，该模块主要涉及传感器数据融合技术，对物体进行检测与分类（包括道路、交通标志、车辆、行人、障碍物等多种元素），并对行人运动的跟踪进行定位，实现自身定位、相对位置确定以及相对速度估算。

行为决策模块：基于实时路网数据、交通状况信息以及驾驶状态反馈，行为决策系统会生成符合交通规则（涵盖突发情况）的安全且快速的自动驾驶决策（运动控制）。具体而言，系统会实时规划出一条精确且合理的行驶路线，其中包含全局路径规划和局部路径规划。全局路径规划用于在理想条件下规划行驶路线，而局部路径规划则在遇到道路损毁或障碍物时自动调整行驶区域。规划过程中，系统还特别关注最终的乘车体验。

运动控制模块：根据规划的行驶路线、当前位置、行驶姿态和速度，系统会自动产生对油门、刹车、方向盘和变速杆的控制指令。

令人意外地超越了asio的性能表现出色，我认为这得益于其简洁的设计和高效的代码。

四、典型方案

人工智能在自动驾驶领域已展现出强大的应用潜力。该技术不仅在初创企业、互联网巨头以及众多汽车制造商中得到广泛应用，更被广泛应用于自动驾驶实现。不言而喻的是，深度学习技术在模拟人类认知机制方面取得了显著进展。从图像识别到语音识别，再到无人驾驶汽车的控制，深度学习正逐步成为实现智能驾驶的关键技术。目前，基于深度学习的自动驾驶主流框架主要包括以下几种：

NVIDIA的Drive PX系统（论文链接如下）：基于Torch7平台，将CNN整合到一个端到端的架构中，实现了实时识别与目标检测。

该系统

其认为，端到端的体系未考虑专家经验、领域知识以及人工监督，对极端情况（Corner Cases）的应对能力较弱。

第二个部分，在高精度地图的构建上，由于高精度地图供应商在生产和维护地图方面成本很高（使用高精度激光雷达来采集和制作地图本身就很昂贵），Mobileye则采取群体智能的方式来解决这个问题，通过大量装配在量产车上的Mobileye现有产品来分布式收集和更新数据。
第三个部分，也是自动驾驶技术公认的难点，即决策与规划技术。为更好地应对自动驾驶中的突发异常情况，论文里提出用短期预测促进长期规划，通过将两个DNN网络集成到不同时间点的激发器上，并采用Q-Learning的强化学习方法，实现由“预测到规划”的目标，框架如下：

Comma.ai的GeoHot端到端方法【论文链接

基于摄像头获取的图像数据，GeoHot采用了基于Autoencoder的编码方法，其中特别关注了Generative Adversarial Networks（GAN）技术。随后，通过一个基于RNN的模型，从人类驾驶数据中进行转换学习，从而实现对后续操作的预测。

除了这三个现有的框架之外，如果您有意愿了解相关领域的发展，可以关注2017年自动驾驶领域的最新研究，例如2017CVPR上的DeepMANTA（着重于D建模和运动估计）等。

目前深度学习在自动驾驶领域主要可分为两类：一类是基于实时道路数据的离线训练方法，逐渐逼近人类驾驶员的操作模式；另一类是基于模拟器环境，通过Q学习算法进行自我决策和试错训练。简单来说，GeoHot和Drive PX属于第一类方法，而IQ3则代表了第二类技术。

五、未来趋势与个人思考

我认为，汽车行业的未来发展趋势主要体现在新能源、自动驾驶、车联网以及共享化等方面。其中，后三个领域（即新能源、自动驾驶和车联网）之间具有相互促进的关系。在自动驾驶领域，车载深度学习芯片的发展具有重要意义，其中，激光雷达和毫米波雷达各有优劣，如何找到替代方案或融合两者以满足精度和成本要求仍是一个挑战。此外，高精度地图的构建需要依赖先进的定位技术和丰富的数据资源。在决策与控制系统方面，自动驾驶系统的决策与控制技术需要在实时性和可靠性之间找到平衡。最后，确保自动驾驶系统的安全运行需要综合考虑硬件、软件和环境因素。

以下聊聊一些个人思考：

自动驾驶是否被归类为伪需求？毫无疑问地，答案是否定，具体参考以上背景部分内容。

自动驾驶的哲学探讨：智能系统与人类的博弈？核心问题主要集中在安全性上，其次是技术变革带来的失业等社会影响。仅此两点，第一，从统计数据看，机器在可靠性上胜过人类；第二，技术变革势不可挡。

数据显示，根据Google的报告，自动驾驶汽车在舒适性和安全性方面均超过人类驾驶员的平均水平。

这里也引用一下特斯拉CEO马斯克在特斯拉车祸事件后的回应：

我们目前的自动辅助驾驶系统显示出显著的安全优势，其在道路致死率方面比世界平均水平低三分之一。即便如此微小的优势，每年造成的120万起车祸中，我们能挽救1.2万名生命。如果存在提高安全的技术，仅仅因为怕舆论或法律问题就掩盖它，这在道德上是不可接受的。

在技术层面，自动驾驶系统相较于人类具有显著优势。具体而言，其感知能力在范围和敏锐度方面超出凡俗，得益于不断升级的硬件技术和日益降低的硬件成本，这些因素将进一步凸显其优势。此外，自动驾驶系统在精力充沛方面完胜人类，无需担心疲劳驾驶的问题；更重要的是，其在任何极端或异常情况下的冷静判断能力，使其在情绪波动面前始终保持理性，从而避免失误。
在法律政策和伦理道德层面，政策相关内容可参考1.5节的讨论。值得注意的是，自动驾驶系统的安全性与可靠性是不容忽视的关键因素，技术要求也必须极其严格，因为除了硬件故障，系统还面临着黑客攻击等潜在不可控风险。

从技术实现能力来看，自动驾驶系统是否具备处理复杂突发情况的能力，以确保安全运行？就现有技术水平而言，实现全自动驾驶（L5）仍面临巨大挑战，L4级别也尚未完全突破，但技术进步是循序渐进的，实现全自动驾驶需要持续的努力和创新。就目前的技术发展状况和资本投入趋势而言，我对技术层面的发展持积极态度。

无人驾驶技术（主要涵盖L4级和L5级自动驾驶），无人驾驶技术何时才能融入日常生活？与其凭空猜测，不如参考各公司相关数据与报告，具体内容可见背景章节。

如何在自动驾驶浪潮中占据一席之地？
肯定地说，如今想在自动驾驶浪潮中占据一席之地并不算晚。举例来说，今年仍有许多大公司如百度等离职者选择自动驾驶作为自主创业的方向，比如王劲的景驰科技。从目前情况来看，除去像马斯克这样的公司明确表示要硬件、软件、网络全面布局，其他如谷歌、苹果、英特尔、通用汽车、百度等大公司多选择与各方合作、优势互补，以实现整套系统解决方案。
因此，如今想在自动驾驶浪潮中占据一席之地，可以考虑在某个技术领域或针对某些垂直细分市场切入。如果自身有资源，可以先抢占部分垂直细分市场，这也未尝不可。对于现有公司来说，可以考虑自身业务是否能与自动驾驶整个系统或应用结合，例如华为凭借通信领域的顶尖技术和产品经验，切入自动驾驶的通信/车联网领域较为容易，但若想自行造车、研发芯片或实现整套解决方案则无明显优势，且投入将非常巨大。但以华为的性格，投入大量资金自行研发也是有可能的。
如果自身技术实力较为薄弱，不妨借助百度无人车技术平台快速实现自身产品，在当前的热潮中，获取天使投资也是轻而易举的。扯淡地说，如今还有许多类似项目可以从国家或政府那里套现零花钱。

六、手把手教你快速实现简易版L3级自动驾驶汽车

1. 买一台电动汽车，一般车都留有USB调试接口（方便车厂调试用的），从车厂得知USB调式接口协议及其控制指令，通过FPGA开发板（型号为ZYNQ-7000）连接到USB调试控制系统，遵照协议说明在FPGA开发板上开发控制系统，然后计算机通过串口连接FPGA开发版并通过发出特定指令来进行汽车控制。说明：串口控制FPGA板的速度是115200bit/s，计算机可用UPS（2500W）供电。
2. 除去汽车本身（含车载雷达）等，需额外配置的硬件有：车顶上配置摄像头（含朝正前的1个主摄像头，朝左斜向45度和右斜向45度的3个辅助摄像头）、车的两前轮中心位置各装一个加速度传感器、车身里面装两个速度传感器（左右各装一个）、1个车载GPS、两台车载计算机（插1060显卡，主从机制）、1个车载显示器（7寸）。
3. 基于端到端的自动驾驶系统：
   输入数据有GPS定位、摄像头数据、传感器数据等，通过基于深度学习模型的一系列处理，得到的输出为当下汽车该采取的方向、速度和加速度，然后把相关指令发送给汽车控制系统实现实时控制。
   具体相关实现说明：

1. 对摄像头获取到的原始图像，基于CNN、GAN深度学习框架(这里也可以参考上面提到的主流框架)进行环境感知分析(道路、交通标志、车辆、行人、障碍物等检测、定位和识别)；
2. 通过双目视差获取到相对位置，通过对速度传感器数据、加速度传感器数据、采集的视频数据进行分析获取汽车速度和相对速度；
3. 通过GPS获得车的大致行驶路线(前后左右方向)， 局部细微的路径规划和避让，基于DCGAN、CNN-LSTM框架来实现。

尾言：文中若有笔误或表述不当的地方，感谢您的包涵，如发现笔误或表述不当的地方，欢迎提出。如有其他意见和建议，也欢迎与我交流（wangdaiyin_pku@163.com）。此致敬礼。