vision是什么意思

另辟蹊径！特斯拉依靠摄像头实现驾驶辅助

作者：

来源：《新潮电子》2021年第07期

五新能源汽車领域“科技造车”的特斯拉一向都被当作风向标式的存在，从电池技术、驾驶

辅助到无人驾驶，特斯拉总给人“走在前沿”的感觉，可这一次特斯拉决定弃用雷达，转而采用

基于摄像头的感知法来实现驾驶辅助，还是让不少人吃了一惊“纯视觉”方案真的能维持特斯拉

汽车驾驶辅助技术的安全性吗？特斯拉这一决定到底是节省成本还是技术升级呢？下面，就让

我们一同来看看特斯拉这一次近乎“另类”的决定。

被疑开倒车的特斯拉

在新能源汽车智能化发展过程中，摄像头、毫米波雷达、激光雷达等传感器系统构成的驾

驶辅助系统一直是极为重要的存在，而过去几年，特斯拉的Autopilot虽然不是真正的自动驾

驶，只是介于L2～L3之间的辅助驾驶功能，但是在过去几年，依靠优秀的软件设计，搭配摄

像头和毫米波雷达感测，让特斯拉Autopilot一直备受车主的喜爱。

而从今年5月开始，特斯拉创始人兼CEO马斯克（ElonMusk）就曾宣布，从2021年5

月起生产的Model3/Y，将不再配备毫米波雷达，与此同时，他们也将“纯视觉”辅助驾驶功能

全面应用到现有的特斯拉汽车上。

虽说大众对于特斯拉“放弃”毫米波雷达有了心里准备，但终归没想到来得这样快。近日，

马斯克通过Twitter宣布，特斯拉将在未来三个星期内推出新版本FSD（FullSelf-Driving）beta

V9版本软件，系统将会以“纯视觉”架构来进行，也可称为“TeslaVision”。

“我们终于可以消灭雷达了，它就像是自动驾驶车的拐杖，支撑了某些摄影机的缺陷。”马

斯克说，如今特斯拉不再需要拐杖，只需要视觉就能达成同样效果。

话虽如此，可这样的说法似乎并不能让市场安心，毕竟单纯依靠摄像头实现驾驶辅助的做

法多少有些另类，何况Model3和ModelY是当前特斯拉销量最高的两款车型，用“拳头”产品

践行想法多少让市场有些担心。

放弃雷达的苦果

对于电子化程度较高的新能源汽车产品而言，驾驶辅助系统往往关系着驾乘安全问题，特

斯拉“另类”改变第一时间便成为市场关注焦点。

根据外媒《Carscoops》报道，Model3由于改用特斯拉（Tesla）Vision视觉技术，不再被

《消费者报告》列为最推荐车款，同时《IIHS》也计划取消该车的TopSafetyPick+进阶安全

首选认证，关键就出在FCW前方碰撞警示与AEB主动刹停功能。

《消费者报告》与《IIHS》认为，改用特斯拉（Tesla）Vision视觉技术，可能会导致

FCW前方碰撞警示与AEB主动刹停功能的侦测能力退步，其中《消费者报告》研究员Bryan

Reimer质疑仅用镜头驱动的系统，是否能具备和雷达系统相同甚至更好的性能。

至于ModelY，该车虽然获得了美国国家公路交通安全管理局（NHTSA）的五星安全评

级。但还没有获得IIHS的评级，该车在CR最新发布的可靠性调查中，仅获得“远低于平均水

平”的评价。

NHTSA则在其官方网站上取消了2021年4月27日当天以及之后生产的Model3和Model

Y车辆评级页面上的复选标记，这意味着两款车型目前已不支持前方碰撞预警、自动紧急制动

以及动态制动辅助功能。

CR与IIHS表示，取消特斯拉的最高安全评级称号，是因为它们的最高安全评级认证都需

要车辆搭载电子安全系统才可以。

绕不开的安全问题

从机构、媒体到消费者，特斯拉依靠摄像头实现驾驶辅助的决策之所以引发大众关注，安

全问题显然是首当其冲的。CR宣传副总裁DavidFriedman在一份声明中表示：“如果司机认为

他们的汽车具备安全功能而实际上没有，这将从根本上改变车辆的安全状况。当他们认为这可

以拯救他们的生命时，它可能根本做不到。”

同时，美国国家公路交通安全管理局（NHTSA）已经调查了29起涉及特斯拉的事故，美

国国家运输安全委员会建议NHTSA和特斯拉将Autopilot驾驶辅助限制在能够安全运行的道路

上，并建议特斯拉安装更好的系统以确保驾驶员能够集中注意力。

相对于外界的担心，特斯拉自己反倒显得很淡定。对于特斯拉Autopilot自动辅助驾驶功

能及其视觉处理系统“TeslaVision”，马斯克曾评价，“一个好的视觉系统可以让你同时看到各

个方向上的情况，它不像人眼会疲倦，反应也更灵敏，将实现更高水平的安全。”马斯克表

示，安全至上是特斯拉坚守的基本准则，我的家人、朋友和孩子会驾驶或乘坐特斯拉，我必须

要保证他们的安全。所以，特斯拉在设计时会尽一切努力使车辆实现最大化的安全。

有意思的是销量在华暴跌后，斯拉在官方微博发布了一篇标题为“ElonMusk：安全是我们

设计特斯拉的首要目标”的文章，其中强调了特斯拉车型的安全性，并指出其“交通事故率已经

优于行业平均水平，并且有信心能够实现全行业最高标准。”

但无论特斯拉如何强调自己的安全性，业界也普遍认为成本才是马斯克坚持力推“视觉系

统”的主因，无论是激光雷达还是毫米波雷达，较摄像头的成本都要高出不少，而现阶段的特

斯拉一直致力于电动车的全球普及，成本是不是一个重要的考虑因素。

看似一意孤行的特斯拉

宣布改用“TeslaVision”到实施，特斯拉并未给消费者提出反对或质疑的权利，它甚至还提

醒那些订购汽车尚未交付的用户可以在他们的在线账户中查看是否为其分配了一辆没有雷达的

车辆，特斯拉方面强势的态度多少让消费者有些不满，以至于面对传感器削减问题时多少有些

偏见。

当下，由摄像头、毫米波雷达、激光雷构成的等传感器系统构成的驾驶辅助系统中，特斯

拉放弃了毫米波雷达，但并不意味着特斯拉真的就永远只搭载摄像头组成的纯视觉系统了。

“TeslaVision”抛出来没多久，就传出特斯拉与激光雷达公司Luminar签订了一份使用激光传感

器技术进行测试和开发的合同。知情人士表示，作为协议的一部分，Luminar向特斯拉出售用

于该辆ModelY上的传感器，不过无论是特斯拉还是马斯克都尚未对此事做出回应。

除了激光雷达会给人们留下念想外，依靠摄像头组成的纯视觉系统实现驾驶辅助并非特斯

拉专利。早在2011年，Mobileye纯视觉前向防撞预警（FCW）在宝马、通用和欧宝品牌量

产。2013年，Mobileye纯视觉车辆和行人自动紧急制动（AEB）在宝马和日产品牌量产。而

2015年，Mobileye纯视觉全功能AEB已经进入多个OEM。

显然，纯视觉实现驾驶辅助并非特斯拉一家的坚持，其本身经过多年沉淀与发展已经相对

成熟了，特斯拉割舍“毫米雷达波”的同时，原本“高贵”的激光雷达反而受到青睐，包括

Mobileye、ApolloLite在内，更多的汽车科技企业投入大量资源在激光雷达上，纯视觉实现驾

驶辅助干掉了“毫米雷达波”的说法或许并不准确，毕竟当厂商们将资源放在激光雷达时，毫米

雷达波的市场地位多少有些不稳了。

争议中的毫米雷达波

马斯克一直反对使用激光脉冲来探测物体的激光雷达技术，同样对使用无线电波来探测物

体的雷达感到失望。马斯克称激光雷达是“拐杖”和“傻瓜”，说它太贵而且难以使用，但他还没

有完全摒弃毫米波雷达。特斯拉打算在ModelS和ModelX车型以及中国生产的Model3和

ModelY汽车中保留毫米波雷达。

传统毫米波雷达在纵向测高能力上有所欠缺，可以理解为缺乏对垂直平面的“理解”能力。

因为该“理解”能力缺失，导致毫米波雷达“看不出”比如桥梁、路牌的高度，在它的“眼”里，这

些静止的物体都会被视为在地面这一平面。基于这样的前提，如果不把他们反射的信号全部过

滤掉，毫米波雷达无疑就会发出前方有障碍的错误预警，造成“幽灵刹车”。但是，当桥梁、路

牌下有静止车辆时，则可能会导致交通事故发生。

特斯拉曾经发生过几个撞向货车的事故，就是典型案例。其中，特斯拉的摄像头感知失

效，无法识别出前方停下的货车。而毫米波雷达作为备用传感器，本应该识别出前方障碍物，

并发出预警，但毫米波雷达也不起作用了。

传统毫米波雷达另一个局限是横向分辨率低，可以理解为对水平平面的“理解”能力薄弱。

横向分辨率是指左右两个扫描的激光点形成的夹角，夹角度数越小，横向分辨率越高。如果和

激光雷达相比，毫米波雷达的横向分辨率不具备优势。比如，特斯拉过去出现的问题：前面一

辆车停在马路旁边，可能有半个车身在车道上，这个时候特斯拉会因为毫米波雷达的横向分辨

率不足，识别不出车辆而更容易撞上去。

而在自动驾驶系统的开发、推广和营销方面，其他汽车制造商采取了不同的做法。通用的

Crui、Alphabet的Waymo、Aurora和其他公司在系统中除了摄像头外还包括毫米波雷达和激

光雷达。虽然摄像头捕捉的视频可以由人类数据分析师进行标记，并由机器学习软件进行解

释，但毫米波雷达和激光雷达传感器提供了额外的数据，可以为汽车提供一种更强大的方式来

检测和避免道路上的障碍物，尤其是在能见度较低时，包括在夜间或恶劣天气下。

据EdgeCaRearch公司首席技术官、卡内基梅隆大学电子和计算机工程教授菲尔·库普

曼（PhilKoopman）称，特斯拉今天应该可以依靠视觉系统提供一些功能，但以后可能需要重

新引入雷達，以提供更先进的自动驾驶功能。

“SAE2级（需要随时监控安全的人类驾驶员）使用的传感器可以由制造商自行决定。因

此，他们可以只用摄像头，注意到人类处理摄像头不能处理的事情。”库普曼说。“特斯拉的功

能目前只限于这个SAE2级。如果将来特斯拉想达到SAE4级（没有人类驾驶员安全监督的

自动驾驶汽车），那么谨慎的做法是使用所有类型的传感器，包括摄像头、毫米波雷达、激光

雷达，可能还有其他。”

特斯拉真正依靠的并非摄像头

真正的自动驾驶或者无人驾驶需要多个传感器系统支持才能实现，而特斯拉当下决定依靠

摄像头实现驾驶辅助的同时，也在推动激光雷达测试，实际上，摄像头系统并没有人们想象的

过时和落伍，特斯拉驾驶辅助真正依靠的核心其实是一套AI算法。

在特斯拉Autopilot的深度神经网络中，其训练了一个高度精确的RNN，通过15帧照片/

秒的、基于时间序列的视频来预测障碍物的速度和加速度。（RecurrentNeuralNetwork，循环

神经网络，顾名思义是基于环状神经网络传递和处理信息，通过“内部记忆”来处理任意时序的

输入序列，以准确预测接下来即将发生的事情。

英伟达的AI博客曾举过一个经典的例子：假设餐厅供应是菜品规律是不变的，周一汉

堡、周二炸玉米饼、周三披萨、周四寿司、周五意面。

对于RNN而言，输入寿司并寻求“周五吃什么”的答案，Ta将会输出预测结果：意面。因

为RNN已经知道这是一个顺序，而周四的菜品刚刚完成，因此接下来是周五的菜品是——意

面。

对于Autopilot的RNN来说，给到当前汽车周围的行人、车辆和其他障碍物的移动路径，

RNN就可以预测接下来的移动轨迹，包括位置、速度和加速度。特斯拉会将雷达和激光雷达

（非量产车队，特斯拉内部的Luminar激光雷达车队）输出的正确数据与RNN识别的对象相

关联，以准确估计对象属性，例如对象距离。在这个过程中，特斯拉开发了工具使得辅助数据

与视觉数据的采集和关联实现了自动化，无须人工标注。此外，关联后可以自动生成训练数据

用以训练RNN，从而实现高度精确地预测对象属性。

由于特斯拉在全球的车队规模已经超过100万辆，特斯拉得以在海量场景数据的训练下迅

速改善其RNN的性能。而RNN一旦将预测的准确性提升到和雷达输出结果的同等水平，就会

形成相对毫米波雷达的巨大优势，同样也会成为特斯拉在自动驾驶领域的一大利器。

走近特斯拉纯视觉FSD

“纯视觉”驾驶辅助意味着汽车摄像头拍摄到周边的画面，然后系统根据画面的信息，计算

出周围的车辆、道路等信息。最直观的比喻，就相当是人的眼睛，我们人眼看到前面的信息

后，大脑就会对这些信息做出判断，距离近了就刹车，距离远了可以加速跟上。纯视觉其实就

是利用摄像头、系统算法等方式，模仿人在做的事。当然，人只有两只眼睛，而汽车可以装很

多的摄像头，当摄像头足够多的时候，就可以完成车辆周围360°的覆盖，这样利用系统强大

的算法，就能实时计算出车辆行驶时周围的路况，完成自动驾驶。纯视觉的特斯拉FSD到底

已经做到什么程度了？马斯克提到的纯视觉、无雷达版本的FSDBeta9.0版本，还没有正式推

出，所以目前能体验到的最新版本是FSDBetaV8.2。这个版本应该是目前特斯拉正式推出

的，纯视觉模式最新的版本了。

除了激光雷达会给人们留下念想外，依靠摄像头组成的纯视觉系统实现驾驶辅助并非特斯

拉专利。早在2011年，Mobileye纯视觉前向防撞预警（FCW）在宝马、通用和欧宝品牌量

产。2013年，Mobileye纯视觉车辆和行人自动紧急制动（AEB）在宝马和日产品牌量产。而

2015年，Mobileye纯视觉全功能AEB已经进入多个OEM。

显然，纯视觉实现驾驶辅助并非特斯拉一家的坚持，其本身经过多年沉淀与发展已经相对

成熟了，特斯拉割舍“毫米雷达波”的同时，原本“高贵”的激光雷达反而受到青睐，包括

Mobileye、ApolloLite在内，更多的汽车科技企业投入大量资源在激光雷达上，纯视觉实现驾

驶辅助干掉了“毫米雷达波”的说法或许并不准确，毕竟当厂商们将资源放在激光雷达时，毫米

雷达波的市场地位多少有些不稳了。

争议中的毫米雷达波

马斯克一直反对使用激光脉冲来探测物体的激光雷达技术，同样对使用无线电波来探测物

体的雷达感到失望。马斯克称激光雷达是“拐杖”和“傻瓜”，说它太贵而且难以使用，但他还没

有完全摒弃毫米波雷达。特斯拉打算在ModelS和ModelX车型以及中国生产的Model3和

ModelY汽车中保留毫米波雷达。

传统毫米波雷达在纵向测高能力上有所欠缺，可以理解为缺乏对垂直平面的“理解”能力。

因为该“理解”能力缺失，导致毫米波雷达“看不出”比如桥梁、路牌的高度，在它的“眼”里，这

些静止的物体都会被视为在地面这一平面。基于这样的前提，如果不把他们反射的信号全部过

滤掉，毫米波雷达无疑就会发出前方有障碍的错误预警，造成“幽灵刹车”。但是，当桥梁、路

牌下有静止车辆时，则可能会导致交通事故发生。

特斯拉曾经发生过几个撞向货车的事故，就是典型案例。其中，特斯拉的摄像头感知失

效，无法识别出前方停下的货车。而毫米波雷达作为备用传感器，本应该识别出前方障碍物，

并发出预警，但毫米波雷达也不起作用了。

传统毫米波雷达另一个局限是横向分辨率低，可以理解为对水平平面的“理解”能力薄弱。

横向分辨率是指左右两个扫描的激光点形成的夹角，夹角度数越小，横向分辨率越高。如果和

激光雷达相比，毫米波雷达的横向分辨率不具备优势。比如，特斯拉过去出现的问题：前面一

辆车停在马路旁边，可能有半个车身在车道上，这个时候特斯拉会因为毫米波雷达的横向分辨

率不足，识别不出车辆而更容易撞上去。

而在自动驾驶系统的开发、推广和营销方面，其他汽车制造商采取了不同的做法。通用的

Crui、Alphabet的Waymo、Aurora和其他公司在系统中除了摄像头外还包括毫米波雷达和激

光雷达。虽然摄像头捕捉的视频可以由人类数据分析师进行标记，并由机器学习软件进行解

释，但毫米波雷达和激光雷达传感器提供了额外的数据，可以为汽车提供一种更强大的方式来

检测和避免道路上的障碍物，尤其是在能见度较低时，包括在夜间或恶劣天气下。

据EdgeCaRearch公司首席技术官、卡内基梅隆大学电子和计算机工程教授菲尔·库普

曼（PhilKoopman）称，特斯拉今天应该可以依靠视觉系统提供一些功能，但以后可能需要重

新引入雷达，以提供更先进的自动驾驶功能。

“SAE2级（需要随时监控安全的人类驾驶员）使用的传感器可以由制造商自行决定。因

此，他们可以只用摄像头，注意到人类处理摄像头不能处理的事情。”库普曼说。“特斯拉的功

能目前只限于这个SAE2级。如果将来特斯拉想达到SAE4级（没有人类驾驶员安全监督的

自动驾驶汽车），那么谨慎的做法是使用所有类型的传感器，包括摄像头、毫米波雷达、激光

雷达，可能还有其他。”

特斯拉真正依靠的并非摄像头

真正的自動驾驶或者无人驾驶需要多个传感器系统支持才能实现，而特斯拉当下决定依靠

摄像头实现驾驶辅助的同时，也在推动激光雷达测试，实际上，摄像头系统并没有人们想象的

过时和落伍，特斯拉驾驶辅助真正依靠的核心其实是一套AI算法。

在特斯拉Autopilot的深度神经网络中，其训练了一个高度精确的RNN，通过15帧照片/

秒的、基于时间序列的视频来预测障碍物的速度和加速度。（RecurrentNeuralNetwork，循环

神经网络，顾名思义是基于环状神经网络传递和处理信息，通过“内部记忆”来处理任意时序的

输入序列，以准确预测接下来即将发生的事情。

英伟达的AI博客曾举过一个经典的例子：假设餐厅供应是菜品规律是不变的，周一汉

堡、周二炸玉米饼、周三披萨、周四寿司、周五意面。

对于RNN而言，输入寿司并寻求“周五吃什么”的答案，Ta将会输出预测结果：意面。因

为RNN已经知道这是一个顺序，而周四的菜品刚刚完成，因此接下来是周五的菜品是——意

面。

对于Autopilot的RNN来说，给到当前汽车周围的行人、车辆和其他障碍物的移动路径，

RNN就可以预测接下来的移动轨迹，包括位置、速度和加速度。特斯拉会将雷达和激光雷达

（非量产车队，特斯拉内部的Luminar激光雷达车队）输出的正确数据与RNN识别的对象相

关联，以准确估计对象属性，例如对象距离。在这个过程中，特斯拉开发了工具使得辅助数据

与视觉数据的采集和关联实现了自动化，无须人工标注。此外，关联后可以自动生成训练数据

用以训练RNN，从而实现高度精确地预测对象属性。

由于特斯拉在全球的车队规模已经超过100万辆，特斯拉得以在海量场景数据的训练下迅

速改善其RNN的性能。而RNN一旦将预测的准确性提升到和雷达输出结果的同等水平，就会

形成相对毫米波雷达的巨大优势，同样也会成为特斯拉在自动驾驶领域的一大利器。

走近特斯拉纯视觉FSD

“纯视觉”驾驶辅助意味着汽车摄像头拍摄到周边的画面，然后系统根据画面的信息，计算

出周围的车辆、道路等信息。最直观的比喻，就相当是人的眼睛，我们人眼看到前面的信息

后，大脑就会对这些信息做出判断，距离近了就刹车，距离远了可以加速跟上。纯视觉其实就

是利用摄像头、系统算法等方式，模仿人在做的事。当然，人只有两只眼睛，而汽车可以装很

多的摄像头，当摄像头足够多的时候，就可以完成车辆周围360°的覆盖，这样利用系统强大

的算法，就能实时计算出车辆行驶时周围的路况，完成自动驾驶。纯视觉的特斯拉FSD到底

已经做到什么程度了？马斯克提到的纯视觉、无雷达版本的FSDBeta9.0版本，还没有正式推

出，所以目前能体验到的最新版本是FSDBetaV8.2。这个版本应该是目前特斯拉正式推出

的，纯视觉模式最新的版本了。