清华大学邓志东教授：人工智能将加速无人驾驶汽车产业化进程

在9月24日的牛车网第四期汽车智能沙龙上，清华大学教授、博士生导师邓志东老师，为我们做了主题为《人工智能将加速无人驾驶汽车产业化进程》的精彩演讲。邓老师将无人驾驶的全球现状进行了细致的分析，并对未来无人驾驶的整体发展路径做出了预判。

以下是演讲实录：

邓志东：大家好！我跟大家分享一下对人工智能与无人驾驶的认识，我自己认为人工智能会加速无人驾驶汽车产业化的进程。

讲两个方面的问题，第一，无人驾驶汽车正在走来，第二，人工智能加速无人驾驶产业中的作用。

一、无人驾驶汽车正在走来

首先看看最新的分级，把“无人驾驶”和“自动驾驶”这两个概念搞清楚它们有什么区别。有两个分级，一个是美国高速公路交通安全局（NHTSA），它把分级分成五级，从L0一直到L4，这个大家很清楚，我们一般都采用这个分级。L0是完全是人工操纵的，就是我们现在的汽车，辅助驾驶只是起一个告警的作用，没有形成闭环。L1是辅助驾驶。L2是既有纵向的也有横向的闭环，也就是说L1已经有闭环了，但是它的闭环只是一个纵向的或者是一个横向的，这个L2是既有纵向也有横向。L3是高度自动驾驶。L4是完全自动驾驶。

另外一个分级是美国汽车工程师协SAE，它把这个分级分成六级，从L0一直的L5，中间加了个“有条件自动驾驶”。

为什么要提SAE？这个星期9月20号美国交通运输部，已经最新发布了自动驾驶的联邦新规，明确了把无人驾驶汽车以SAE的六级作为分级标准。所以以前的五级现在没有了，以后肯定以六级作为标准。这个六级和原来的五级有什么区别？

其实前面L0和L1是相同的，这块有个特点，都是人类监控行车环境，就是人要看周围环境，说白了是在司机的位置一定有人，只要这种情况都是L0-L1级的，即使这个车是机器看的，人也得看到外面的行车环境，我们叫“安全驾驶员”，是一定要有的。到L3有机器监控行车环境，这时候司机的位置是没有人的，如果司机没有人了它就至少是L3或者L4，原来的L4变成L4和L5，我是比较认同SAE分级的，因为它把4细分成4和5，属于高度自动驾驶和完全自动驾驶，这块到第3级没有司机了，但是屏幕上有个监视员，可以在车后，也可以在车外。到第4级或者第5级的情况，这两个人都不存在了，完全不需要人去管了。我们现在远远没达到。

从这个分级来看，4、5级还有什么区别？第4级是限定区域、限定功能的，比如它只跑开发区，只跑工业园区、住宅区。如果是5级真正自动驾驶，是什么地方都可以去，完全不限定区域，这也是我们的梦想。我们说L4可能比较好，因为L5更远，L4这个级别10年商用是有可能的。

L1有个辅助人，一个系统一个ADAS，或者分开用的，没有横向或者纵向联合使用；L2是联合使用，有纵向控制也有横向控制，这块有个监控接管，就是看到行车环境，司机那个地方有人，还是机器开的，人是辅助的，但是人看着周边的环境，随时准备接管；L3是人辅助，这个时候司机地方没有人了，但是后面发生紧急情况可以通过屏幕、通过计算机来进行干预的；L4是高度自动，限定功能、限定区域。现在汽车制造厂商都是三部曲，辅助人、人辅助，然后自动。比如绝大多数国际巨头，包括新车企特斯拉和老车企沃尔沃、宝马、丰田等都做得非常好，都在测试自己研发的自动驾驶。

还有无人驾驶的，IT跨界企业搞无人驾驶，把L1这块丢掉了，直接从L2开始做，L2是有监控的，比较典型的是谷歌、UBER、百度、Lyft、苹果，L0是没有闭环的，L1认为是已经闭环，但是这个闭换是纵向或者横向，L2是纵+横，L3是monitor driver没有了，L4里面就完全没有人类驾驶员了，油门、刹车都可以拆掉，但是必须限定功能、限定区域，L5是全区域。像谷歌没有方向盘，还有uber、苹果、百度的属于跨界的无人驾驶。还有主机厂，像特斯拉，奥迪、奔驰、日产等很多。

上个月25号在新加坡推出首个无人驾驶出租车免费载客服务，像拿现在滴滴叫车软件一样，叫完了可以坐上去，乘客坐车不需要花钱，它是限定区域的，限定2.5平方英里的商业住宅区。目前有6辆车，据说年底增加到12辆，而且经过了2年的测试，2014年就开始做这个事了，测试差不多2年才开始试运行的，汽车是特殊的商品，它对安全性有极高的要求。

还有个最令人振奋的消息，就是Uber 9月14号在美国匹兹堡市市区，没有限定区域，而且那个区域里据说有山坡、下坡、狭窄道路、桥，比新加坡那个水平高很多，推出无人驾驶出租车载客服务，并且试运行，也是用UBER的叫车软件，谁都可以坐，也是免费，它应该是典型的L2的没有限定区域的，而且是作为企业的试营业出现的，不是搞科研的测试车，这是非常振奋的消息。它有4个车是混合动力的，还有12辆车备用，而且也测试将近2年了。这就看出来了差距，我们还没有测呢。它的目标很明显，就是从L2怎么变成L3，先去掉一个人，然后再去掉一个，就变成L4了。但是这个时间是很痛苦的，减一个人说起来很简单，但是有很大的风险，如果真要减成功，可能要3-5年才能完成。但是我觉得它应该很快，因为它测试了两年基本没有出现什么事故。而且旧金山也在测，但是并没有推行试运行。

沃尔沃有100辆自动驾驶汽车在中国进行测试，明年在瑞典进行测试，他们今年在北京六环已经跑了1200公里了，不是在城区里面走的，高速公路没有路口、没有环岛、没有红绿灯，简单很多，但是作为企业产品，确实跑了1200公里。

我们以前最早做L2是从厘米级栅格/拓扑地图+RTK导航，是限定区域的。自动驾驶方案L1、L2是限定成本，这个产品出来必须是3000块钱或者5000块钱来实现这个功能，这个做起来更难，这是限定成本情况下的ADAS进化，最后的目标是L5。

无人驾驶降低成本方案有四个方面：第一，人工智能算法。比如我们可以把摄像头硬件成本降下来，不仅可以解决视觉问题，还可以解决导航问题、定位问题、高精地图等等，都可以用人工智能算法来做，这是根本性的问题。第二，降低LIDAR成本。第三，基于4G/5G，我们国内开始试运行5G了，它出来之后车联网问题会大大缓解，对无人驾驶非常重要，现在某种程度4G也够了。第四，智慧交通设施，就是智能空间或者智慧空间，降低自动驾驶或者无人驾驶汽车的成本，就像我们搞机器人一样。

这个商业模式，今后可能提SAE了，因为现在很明确是SAE六个分级，每一级应该都有商业模式，比如做L1，ADAS肯定有商业模式；L2像现在百度和其他的都在做这个模式，先找个开发区把无人驾驶汽车试运行；L3肯定把成本降下来，因为人越来越少嘛，所以每一个都有商业模式。我觉得整个产业主要有四个方面可以做的：第一，汽车共享与智能服务，这是最根本的，Uber把无人驾驶当成它至关重要、生死攸关的一件事情来做。Uber是做共享汽车，通过无人驾驶汽车可以把司机成本完全降下来，就具有足够的市场竞争优势。我想今后可能滴滴也会做这个，百度搞无人车也做汽车共享，这个事情非常重要，可以根本解决智慧出行问题。第二，自动驾驶和无人驾驶汽车，这只是网络里的一个点而已，跟手机一样是一个移动终端。第三，车联网和云平台。第四，产业链，如高精地图、激光雷达。另外，出现无人出租汽车、无人货车等，要修改相关的法律法规。

据我估计，2016年Uber的无人驾驶汽车推出来以后，认为L2实际已经实现了，至少现在试营业，它是人感知接管，这种情况下应该是可以了。再过3年左右，2019年就可以把司机那个人丢掉，但是monitor driver还得有，遇到情况还要干预。再过10年，把这个人丢掉以后就到L4，高度自动的，这时候完全不需要人了，可以自动处理，比如遇到紧急情况时候，Uber有天气传感器，有暴雨或者有雪就会自动停下来不开了，人也不是在什么情况下都敢开的。再过十几年，我认为是2030年后，才能真正实现L5全工况，这时候就会发生产业链颠覆了，那时候应该是任何气候、任何时间段、任何区域都可以去，跟人开车没有什么区别。

汽车社会有四大公害，美国交通部长说无人驾驶可以挽救成千上万人的生命，解决拥堵问题，绝对拥堵量可以至少降低三分之一。比如北京城市机动车、汽车可以降低三分之一，就是不需要那么多了。现在车的使用率很低，天天上班之后就停在车位，其他时间都是浪费的，是极大的能源浪费。采用汽车共享的方式，使这个城市汽车需求量降低三分之一，从根本上解决交通拥堵，因为全部是无人驾驶汽车以后不会抢道、夹塞，使用新能源，线路可以优化，安全问题很好。

现在这个序幕正在拉开，但是有什么挑战？第一，自主性，就是具有更多的智能，比如迷茫了会停下来，在路边不走了。第二，环境适应性，就是什么地方都可以去，比如高速公路可以走，县级道路也可以走。

主控单元、决策模块、规划与导航模块、环境感知与理解模块、环境建模模块、车道线、路缘、护栏感知模块、路面感知模块、非结构化区域感知模块、障碍物感知、交通标志感知模块等全部要搞清楚，还有车控模块，还有故障诊断、车载电源等等模块。

我们人为什么开得好？从驾校出来以后就可以很快的开车，什么地方都可以去，而且是全区域全功能的，因为人是理解的。机器它理解不了，对它来说只是一堆数据而已。所以我们怎么办？我们采用很多线头，采用很多传感器，激光雷达、毫米波雷达等。但比如有很多车道线、或者车道线退色了、路面有阴影，这对人来说一点问题都没有，但是对传统的计算机视觉来说就是大问题。对道路怎么理解？它理解为是个分割，完全是激光雷达扫出来的，精度可以到几十厘米。像它扫出来了这个，但是它理解不了是“车道线”，但人一看就知道是车道线。

还有复杂越野环境如何理解？比如丘陵等，人用眼睛一看就明白，但是机器理解不了。还有障碍物如何理解？人对障碍物很容易判断，比如可以判断树是静止的，但是对机器来说做到准确判断是很困难的。

另外对路标的理解，还有障碍物检测很重要，怎么去判断机动车、行人、非机动车？我们人是很可靠的，只要开车这个人意识是正常的，前面障碍物都能够识别出来，是很简单的一件事。对机器来说做到绝对可靠也是如此困难，导航还要低成本方式保持定位定姿，它的要求比无人机要严格得多，比如汽车只要偏离30个厘米，就压到车道线了，一般车道宽度是3到4米。而且要保证它长期可靠，比如你可以从北京跑到深圳去，一天两天，都要保证这么高的精度，里面还要经过隧道和大量的桥梁。

怎么办？用多模态传感器，这涉及到如何进行信息融合的问题。比如做到L4，上面都没有人了，机器怎么判断自己感知的环境是失败的、是失效的？交通流稠密的复杂城区，如何安全敏捷地避开行人等障碍物？行人是个小目标，靠你很近，如果你不能快速的紧急刹车，一下就把人撞上了。

二、人工智能加速无人驾驶汽车产业化进程

共性关键技术，一个是用深度学习+环境理解，这在现在看来是革命性的进展，在计算机视觉、语音识别、文本分类上面的一种革命性进展，是以前前所未有的。因为人工神经网络的模型几百种、几千种，搞了大半个世纪了，但是真正好用的可能就是这个。第二个是深度学习+信息融合。

前沿核心技术，第一，基于深度监督学习的障碍物与识别技术，这样成本就大幅度下降了。第二，基于深度监督学习的高精度地图创建技术。

例如谷歌现在总的里程已经是241万公里，主要是城区道路，而且还有模拟环境的，很多算法可以在模拟环境里跑，也可以有数据出来，数据链一下子增长很多。

特斯拉6个月就超过了7500万公里，主要是在高速公路上跑。

在硅谷，百度9月1号拿到加州路测牌照，成为第15家获得此牌照的企业。数据非常重要，无人车一定是路上跑出来的，绝不是试验室关着门出来的。跑得越多离商业化就越近，企业搞无人驾驶和自动驾驶就看它跑了多少公里数。

它采取的视觉大数据越多，就能够获得更好的驾驶直觉。路测大数据越多，离商业化就越近，比如谷歌已经有54个原型车，商业化进程不断推进。现在它到了Kirkland和Phoenix，这两个地方是潮湿多雨和高温沙尘气候，是无比大的挑战。特斯拉有7万个车配备自动驾驶模块，分布在全世界各地进行大数据收集。

硬件引擎有基于超级GPU、TPU集群的离线训练，和基于云平台的在线应用，以及移动端应用。深度学习硬件开发企业，比如英伟达的GPU，还有高通的移动终端深度学习芯片和类脑芯片，谷歌的张量处理器等等。

现在无人驾驶和自动驾驶专注于人工智能的公司在美国出现了很多，有的还做得非常大，比如现在技术企业除了谷歌、Mobileye、百度以外，初创企业比如美国的Zoox，现在据说是有一二百人的队伍，研发队伍200多人，而且测试车天天在跑，15家上路公司之一，做得很大。还有drive.ai，专注无人驾驶、智能驾驶、人工智能的。还有Cruise Automation，这个已经被通用汽车收购了。还有comma.ai，还有日本Preferred Networks。

总之，深度学习或者感知智能是源于原始真实大数据，不需要进行预处理，它的实时性也正在得到诸如FPGA、GPU和类脑芯片快速发展的保障，有可能创新性地支撑无人驾驶汽车的单目视觉+，跨越性实现或超越Mobileye的单目视觉能力。我们现在至少有这么个机会，可以赶超它甚至跨越它，以前是没有的，因为计算机视觉很大程度是靠经验，现在门槛降低了，大家都差不多。可以通过这种方式实现感知设备的减法。我记得以前车厂全是传感器，全车都装上摄像头，其实好多是没有用的，人就是靠两个眼睛，后面都看不见，一点不影响我们开车，所以这个东西是没必要的，但是在最早时候没办法，交学费嘛，必须要这样。

人工智能是迈向SAE L5的无人驾驶，我们原来说的L4，现在是L5，其带来的挑战是：

第一，绝对安全性低成本带来的挑战。这个是很特殊的产品，这个产品对安全性要求极高，前端后端要经过两三年的测试才可以，这个时间是很长的，要求是绝对安全性，出点问题就变成法律问题甚至社会新闻。还要求低成本，太贵了卖不出去，所以这是个巨大的矛盾，成本要低，还要保证绝对安全性。

怎么办？用人工智能去做高清地图，这也可能形成个巨大产业，国外早就有这个东西，我们也有了。谷歌最高可以做到10个厘米左右，国内现在可以做到30厘米左右，研发阶段可以做到20厘米左右，还有跨省的、全国的。然后用深度学习+高精地图，做基于landmark的HD地图。还有基于深度学习的极端环境下的道路感知，比如下雨的时候或者强反光的时候，就是人看不见了，这个时候机器没法弄，极端环境下的道路感知，包括车道线、可通行路面，结合地图来做是可以的，比人还好，人脑子里没有这个地图。还有基于深度学习做障碍物识别与行为意图预测，这是个很大的产业，大幅度降低成本，最理想的方式就是一个摄像头来做，特斯拉出问题也在这块，如果不行的话激光摄像头+低成本激光雷达，这样的话可以把障碍物找出来，而且还可以对它进行分类，这是车、这是行人，它的运动参数可以估计出来，距离是多少、速度是多少、方向是多少，如果做得很准确的话这是个非常好的东西。还有多模态度的高清技术导航，GPS要经过隧道时候信号就没有了，这时候要靠其他方法。还包括单目视觉SLAM，国外车有4个32线的激光雷达，既可以识别障碍物，也可以做导航，也可以看见地图等等，而且把成本还可以降下来，不用64线了。

第二，认知智能缺陷带来的挑战。开车里面有个决策，决策需要对驾驶的态势进行判断，要进行决策，比较左转弯、右转弯、遇到障碍物时或紧急情况怎么刹车和变道。人工智能没有提供很好的办法，因为现在人工智能是有缺陷的，还没有突破。怎么解决它的决策问题？L3的时候只有一个monitor driver，人还在干预，但是如果是到L4那个人也不存在了，这时候靠机器做这个事情，但机器在人工智能这块没有什么根本性的进展。L2根本不存在问题，因为它是感知接管，驾驶员还在，手不离方向盘，同时人进行行车环境的感知。

L3是人机共驾，司机的位置没有人了，但是后面还有一个人，可以通过手机，甚至他可以不在车上，在外面、在远端，对于紧急情况也可以干预，但是他是通过计算机进行干预的，不是自己抓方向盘。要求他具有足够的人类水平的局部感知环境能力，这部分是有可能做到，因为有感知智能的进步，有深度学习进步，有可能的行车环境感知现在还没到这个水平。机器发出监控干预请求时候怎么判断？这个时候人是不动方向盘的，但是你的计算机告诉它“我有一个紧急请求”，这时候赶快干预。严格定义就不敢说自己是L4了，L5就提都不用提。这时候人在外，但是不在司机的位置，可以引入人的干预。

L4是上面两个人都没有了，完全不需要人干预了，有迷茫或者有问题会自动停车，这是无人驾驶，真正的无人驾驶至少是L4这个程度，它没有人了，人都是乘客，不是司机也不是干预员。完全是机器自动完成，机器怎么自动完成监控干预，怎么基于语义地图判断。

L5是我们真正意义上的无人驾驶汽车，我们要颠覆汽车产业的这个东西，这个东西至少在15年以后才有可能，完全是全区域、全功能，什么人都没有，哪边都可以去，跟人水平一样。出现紧急情况或者故障时候未来L5就一点不需要人的远程干预么？比如下雪了，前面断路了，它调头调不了了，这种情况它可以自动处理，但不是人上去开。比如我们把它限定在2030年，离现在还有15年时间，15年人工智能有这样的突破吗？在认知上有类似于人深度学习的突破吗？不知道。

车联网V2X网络空间安全会带来严峻挑战，物理上汽车跟网连在一起了，从理论上来说有可能操控你这个汽车。怎么去应对这么一个网络空间的安全问题？

三、结语

第一，深度学习进步使得无人驾驶汽车产业极有可能最短在2-4年之获得达初步的的商业模式，Uber在试营业，但是没有什么回报的，只是技术测试，像新加坡这样搞个小区，人慢慢就可以减下来。

第二，智慧出行。无人驾驶汽车应该作为汽车共享或者智能服务的一个移动节点或端设备。这样看的话问题就很大了，有可能出现把无人驾驶汽车看成未来下一代智能硬件，和现在智能手机一样的东西，是更大的端设备，而且在上面可以购物。车不开了，在上面可以提供很多服务，你可以打电话、订菜单、订餐馆、订旅馆，上面可以做很多智能服务，因为你不需要开车，是机器给你开的，这个路程中可能有几十分钟或者一两个小时，你完全可以做很多事情。

第三，拥有大数据和计算能力是制胜的关键。

第四，中国传统汽车产业缺乏全球竞争力，本来是有这么一个机会可以实现弯道超车，但是现在看起来是不是能够实现跨越式发展?国内汽车行业决心很大，但是没有太大的动作。你看看这些跨国企业，都在做自己的产品，而且已经在产品测试阶段。