第47卷第12期2019年12月
同济大学学报(自然科学版)
JOURNAL OF TONGJI UNIVERSITY(NATURAL SCIENCE)
Vol.47No.12
Dec.2019
文章编号：0253-374X(2019)12-1785-06DOI：10.11908/j.issn.0253-374x.2019.12.014自动驾驶车辆智能性评价研究综述
陈君毅，李如冰，邢星宇，蒙昊蓝，余卓平
(同济大学汽车学院，上海201804)
摘要：围绕自动驾驶车辆智能性评价进行了深入的分析和总结.首先，对自动驾驶车辆智能性定义进行了综述和对比；之后，系统梳理了现阶段自动驾驶车辆智能性评价选取的评价指标；然后，按定性评价和定量评价两种方式对评价方法进行了整理和概述，并深入分析了不同评价方法的应用特点和局限；最后，就自动驾驶车辆智能性评价的进一步发展提出了若干研究方向的展望.
关键词：自动驾驶车辆；智能性评价；评价指标；评价方法中图分类号：U469.79文献标志码：A
Survey on Intelligence Evaluation of Autonomous Vehicles
CHEN Junyi,LI Rubing,XING Xinffyu,MENG Haolan, YU Zhuoping
(School of Automotive Studies,Tongji Uni v ers让y,Shanghai201804, China)
Abstract：This paper analyzes and summarizes the intelligence evaluation of autonomous vehicles.Firstly,the intelligence definition of autonomous vehicles is summarized and compared；then the indicators lected for intelligence evaluation of autonomous vehicles are sorted out systematically；of t er that the evaluation methods are summarized according to qualitative evaluation and quantitative evaluation,and the characteristics and limitations of different evaluation methods are analyzed in depth；finally・veral future rearch directions are propod for the further development of the intelligence evaluation of autonomous vehicles.
Key words:autonomous vehicles；intelligence evaluation? evaluation indexs；evaluation method
在自动驾驶技术的开发中需要进行大量的测试、评价和验证，尤其需要突出自动驾驶车辆作为智能系统的任务决策能力和复杂环境的认知与理解等能力.研究自动驾驶车辆的智能性评价方法有利于促进汽
车工业设计、生产和销售的良性循环.刺激汽车生产商提高汽车智能化水平，并为消费者购车时提供参考•然而目前对于如何评价自动驾驶车辆的智能性还没有统一的标准法规，各研发单位及测试机构从不同角度、不同应用范围给出了自己的评价指标和评价方法•本文围绕自动驾驶车辆智能性评价进行了深入的分析和总结.
首先，对自动驾驶车辆智能性定义进行了综述和对比；之后，系统梳理了现阶段自动驾驶车辆智能性评价选取的评价指标；然后，按定性评价和定量评价两种方式对评价方法进行了整理和概述，并分析了不同评价方法的应用特点；最后，就自动驾驶车辆智能性评价的进一步发展提岀了若干研究方向的展望.
1自动驾驶车辆及智能性定义
美国汽车工程师学会(SAE)将自动驾驶技术分为L0〜L5六个级别⑷，本文中自动驾驶车辆是指按照SAE定义L4级及以上的车辆.即按照功能设计，车辆在限定条件下，应能完成所有动态驾驶任务，如果出现需要人类介入的情况，则认为自动驾驶系统未满足功能需求.
自动驾驶汽车智能性一般可看作是人工智能的一个专门领域•人工智能是指机器能够完成需要人类智能才能完成的任务阂，或者机器在同样的任务中表现出和人类似的、甚至是超过人类的智能⑷，以此引申岀自动驾驶车辆的智能性是指车辆具备和人类相当、甚至超过人类的驾驶技能.基于这种思想, Kalik
等⑷将图灵测试应用于自动驾驶车辆智能性评估中，根据人类观察者能否将自动驾驶车辆与人
收稿日期：2019-01-24
基金项目：上海市工业强基专项(GYQJ-2017-4-08)；国家重点研发计划项目(2O18YFBO1O51O1)
第一作者：陈君毅(1980—)，女，讲师，工学博士，主要研究方向为自动驾驶汽车测试评价.E-mail:chenjunyi@tongji.edu
1786同济大学学报（自然科学版）第47卷
类驾驶车辆区分开，来对自动驾驶车辆的智能性做出评价.
本节上述智能性定义是从自动驾驶车辆的行为表现出发，也有部分学者从自动驾驶汽车应当具备的能力出发确定智能性定义•Li等⑸认为自动驾驶汽车的智能性是指自动驾驶汽车在环境中感知信息、决策规划并采取自适应行为的能力.Huang等⑷认为智能性是无人系统为了能够完成所分配的目标所具有的综合感知、认知、分析、沟通、计划、决策和执行等能力.Beernaert等⑺强调了自动（Automatic）和智能（Intelligence）的区别，自动意味着一个系统只能按预先编好的程序运行，智能意味着一个系统能够处理人工未预先定义的异常•闫岩等⑷认为智能性意味着还具有自主运行能力，认为智能性应能够体现系统的自我管理能力，最小化人工干预，并具有动态自处理和任务执行能力.
综上所述，自动驾驶车辆的智能性意味着在行为表现上与人类相似（甚至超越人类）；在能力上，具有感知、决策、规划能力，自主运行能力，能够处理人工未预先定义的异常•除智能性外，也有部分学者提出了自主性的概念，由于自主性和智能性之间没有清晰的界限，因此本文中不做区分，统称为智能性.
2自动驾驶车辆智能性评价指标
选取评价指标是自动驾驶车辆智能性评价的前提和基础.智能性评价过程中首先需要明确评价目的和评价对象，在此基础上再选择具体的评价指标，以下从这两方面展开分析.
2.1明确评价目的和评价对象
2.1.1评价目的
（1）纵向比较
纵向比较是指在技术开发验证阶段，比较自动驾驶车辆智能性的某个方面相较于自身上一个版本的改进情况，不需要全面综合地对比不同自动驾驶•车辆的智能性差异，侧重于智能性的某个方面.例如Koon等⑷为研发的无人驾驶车辆设计了专用测试赛道，最后根据无人驾驶车辆通过赛道的时间和测试过程中偏离赛道的次数评价智能性.
（2）横向比较奥巴马当选演讲
横向比较要求全面综合地比较多辆自动驾驶车辆，单一方面无法完整反映智能性水平，评价指标相比于纵向比较覆盖面更广.典型的是Huang等冏提岀的ALFUS（无人系统自主级别框架,autonomy levels for unmanned systems）评测框架，如图1所示.该框架对被测系统的智能水平进行了等级划分，主要考虑任务完成过程中的任务复杂度、环境复杂度和人工独立程度等因素，将智能水平划分为10级.
图1ALFUS评测框架
Fig.1ALFUS evaluation framework
2.1.2评价对象
（1）面向无人乘坐车辆
无人乘坐车辆的使用目的是执行特殊任务，而非运载乘员.面向无人乘坐车辆的智能性评价将车辆视为自主行驶的智能机器人，评价独立完成任务的能力和完成质量，不考虑用户体验相关指标.如美国国防高级研究计划局（DARPA）在2004,2005年举行了两届沙漠越野比赛DARPA Grand ChallengeZm，对未完成任务的车辆以行驶距离排序，对完成任务的车辆以完成任务排序.2007年举办的DARPA Urban Challenge问在城市环境中进行，最终综合考虑车辆在行驶过程中的任务完成时间、任务完成质
量（违反交通规则或表现出危险行为扣除相应分数）进行评价.
（2）面向有人乘坐车辆
有人乘坐车辆以运载乘员为目的，要求自动驾驶车辆不仅能够自主行驶，还需要能够提供较好的用户体验，评价指标中包含用户体验相关指标.例如Adaptive项目期通过问卷调查收集试乘人员对自动驾驶车辆的评价，评价指标包括信任程度、有用程度、可接受程度、是否愿意购买等.
2.2选择评价指标
评价指标包括整车级指标和系统级指标两大类，以下对这两种类别的典型评价指标进行了整理和分析.
2.2.1整车级指标
整车级指标是自动驾驶车辆在完成任务过程中
疯狂动物城资源
第12期陈君毅.等：自动鸳驶车辆智能性评价研究综述1787
的各种行为表现，评价时将自动驾驶车辆视为一个完整的系统，不需要了解系统内部结构如何，只需按系统的输入和输出信息对整个系统进行评价.
对于整车级指标，可以选择客观指标（在测试中实际测量获得指标属性值）或者主观指标（人类评价确定指标属性值），如表1、表2所示.选择不同类型的指标将影响指标体系颗粒程度，主观指标的最细粒度可以是任务级别，客观指标需要进一步将任务细化到可测量的指标.例如同样是“通过路口”指标, Meng等［⑷分解为｛停车精度、起步时间、平均速度、制动减速度｝等客观子指标，对于每一个子指标根据测试数据来确定指标属性值；孙扬则直接利用专家调查法评价自动驾驶车辆在通过路口过程中体现出的智能性水平.man of the hou
表1整车级客观指标
Tab.1Objective indices of vehicle level
来源
任务完成质量
任务完成效率人工干预指标安全性（包括交规
遵守情况）
舒适性交通协调性
Koon等〔a偏离赛道次数通过赛道时间
DARPA Grand Challenge^10-1任务完成时间
自主行驶里程、
人工干预率
Meng等［"I 与前车安全距离、障碍物预
警、合适角度避让障碍物
路口制动减速度、跟
车时车速控制
路口停车精度、路口重新起
动时间、路径二次规划时
间、过路口平均速度
Zhang等［"I 检测到行人时的距离、重新
起动时与行人距离
启动加速度、制动减
速度
停车距停车线距离、重新起
动时间、
平均速度
Dong等［】7］车道偏离是否开启转向灯、
交通标志标线识别与响应
resigned
平均加速度、车速
方差
平均速度
表2整车级主观指标
Tab.2Subjective indices of vehicle level
来源指标Roener等［⑶信任程度、有用程度、可接受程度、是否愿意购买
孙扬等遥控起动、遥控刹车、遥控停车、直道车道保持、限速、过U型弯、停止线停车、禁止逆行、弯道车道保持、停车语言指令、通过路口、动态规划、全球定位系统（GPS）导航性能、通过路口、禁止逆行/GPS导航能力
Kalik等［4〕是否与人类驾驶员相似
主观指标和客观指标各有优劣，客观指标属性值是客观测量值，不受人为因素影响，但由于智能性本身具有模糊性，在不同场景下指标的理想值不同（如在干燥路面和湿滑路面，跟车距离的理想值不同）
，客观测量值和智能性水平之间并非线性对应，因此仅根据实际测量属性值不足以判断智能性优劣；主观指标虽然较好地体现了智能性的模糊性特点，但受人为因素干扰较大.
2.2.2系统级指标
系统级指标是指将自动驾驶车辆的智能性分拆到子系统或者子能力等指标，对子系统或子能力分别进行测试评价，进而汇总成为整车的智能性评价结果.典型的系统级指标如表3所示.
整车级指标虽然能反映整车级别的智能性优劣，但对自动驾驶车辆环境感知、决策规划和控制等子系统缺乏直观的反映，并未指出具体哪项系统的不足和以后需改进的方向；另外自动驾驶车辆的智能行为由环境-任务-车辆三者交互激发也］，不同环境和任务对车辆智能行为影响不同，自动驾驶车辆
系统级指标虽然能直观反映各子系统或子能力的优劣，但是自动驾驶车辆是一个复杂的智能体，子系统或子能力之间并没有绝对的相对重要性关系，如何将各子系统或子能力评价结果综合成为整车的智能性水平仍具有很大挑战性.
表3系统级指标
Tab.3Objective indices of system level 来源指标
李静等感知能力、规划能力、运动控制能力、行为能力和学
习能力
王越超等〔讷
感知技术、人机交互、信息和通讯技术、路径规划技
术、多平台协同技术、移动与运动控制技术、自主能
源、任务规划
Wang等［2o］感知与认知系统、决策与规划系统、控制与执行系统在特定驾驶任务和环境中的表现能否反映更广泛条件下的智能性水平有待进一步研究.
3自动驾驶车辆智能性评价方法
自动驾驶车辆智能性评价指标确定后，需要选择合适的评价方法，以确定评价对象在各评价指标
1788同济大学学报(自然科学版)第47卷
上的评价结果，包括定量评价方法和定性评价方法.
3.1定量评价方法
定量评价方法采用数学的方法，收集和处理数据资料，最终以精确的数值概括全部的评价信息，包括独立指标评价方法和联合指标评价方法.
独立指标评价方法不区分不同指标之间的重要性差异，在获得评价对象在各个指标的评价结果后并没有关联在一起形成总体评价•例如Wei等⑵］根据自动驾驶车辆到达设定终点的平均时间、平均加速度、车道变换次数、与前车距离小于10m的总时间等数据进行智能性评估•独立指标评价方法仅适用于独立地对比不同评价对象在各评价指标上的表现差异，由于不能得出整体的评价结果，便不能在整体上判断各评价对象的智能性优劣，因此应用较少.mbc在线直播
应用广泛的是联合指标评价方法，该方法用多个评价指标分别说明被评价对象的不同方面，最终对各评价指标结果综合，用一个总指标来说明被评价对象的综合水平•该方法在建立指标体系后还需要进一步确定指标权重并选择集结模型，以下对不同指标权重确定方法和集结模型的应用特点和局限进行了分析.
3.1.1确定指标权重
指标权重确定方法可分为主观赋权法和客观赋权法.主观赋权法由专家根据经验进行主观判断得到权重，应用较多的是层次分析法.由专家通过两两比较判断的方式确定每两个指标之间的相对重要性，进而建立判断矩阵K.K中的每一个元素r t，代表指标i相对于指标J的相对重要性程度，之后求解判断矩阵
的特征向量作为各评价指标的权重系数C23-25］.除层次分析法外，也有部分学者采用等权法［沟，即默认各评价指标的权重相同.
客观赋权法通过对实际获得的指标属性值进行计算分析，进而得出权重系数.应用较多的是爛权法•各被测车辆在某个指标的属性值差异程度越大，提供的信息量便越多，该指标的权重也越大〔灯.客观评价法利用比较完善的数学模型和方法，不受人为因素影响，适用于评价指标均为客观指标的情况.但客观赋权方法获得的指标权重依赖于测试结果；且当评价对象不同时指标权重随之改变，即指标权重不具有普适性.
有部分学者采用组合赋权法［旳，即分别在主观赋权法和客观赋权法内部找出最合理的权重系数，再根据具体情况确定主、客观赋权法权重系数所占的比例，最后求出综合评价权重系数.该方法一定程度上既反映了决策者的主观信息，又可以利用原始数据，使权重系数具有客观性，但结果的准确性有赖于对主观赋权和客观赋权权重系数所占比例的确定.
指标权重的基本规律是指标体现的任务复杂程度越高，权重越大.任务复杂度越高的指标越能反映被测对象的技术水平，相对重要性较高，且通常不同被测对象在该指标的差异性更大.因此无论采用主观或客观赋权法，权重均较大.如文献［27］采用客观赋权法，指标“停车精度”权重为0.113，指标“车速保持”权重仅为0.092；文献［15］指采用主观赋权法，指标“U 型转弯”权重为0.47，指标“直道保持”权重仅为0.05.
parallels
3.1.2选择集结模型
联合指标评价方法需要选择集结模型将多个评价指标属性值“合成”为一个整体的综合评价值，集结模型包括灰色关联度法、逼近理想解排序法(TOPSIS,technique for order preference by similarity to an ideal solution)方法、模糊综合评价法、反向传播(BP,back propagation)神经网络法和加权算术平均法.
灰色关联度法”］通过比较各自动驾驶车辆与理想方案(各评价指标的最优属性值构成的序列)之间的关联度确定各指标得分，之后用评价指标权重向量对各指标结果进行综合，获得综合评价结果.关联度越大，说明该车辆与最优方案的态势越一致，智能性越好•但是当其中某个评价对象改变时，理想方案很可能随之变化，从而导致所有评价对象的评价结果均发生变化，因而仅适用于对特定几个评价对象进行排序，即评价结果不具有普适性.
TOPSIS方法时根据各车辆与正理想解的接近程度以及与负理想解的远离程度进行智能性相对优劣的评价，其中正、负理想解分别是所有车辆中各评价指标的最优、最劣属性值构成的序列，该方法获得的评价结果同样不具有普适性.
模糊综合评价法⑵•旳首先确定评价指标集合和评价等级集合，之后确定每一个评价指标对各评价等级的隶属度，便可以确定一个模糊评价矩阵R，用评价指标权重向量对模糊评价矩阵R进行合成运算.从而得到模糊综合评价结果向量.模糊综合评价法适用于评价指标为多层次指标体系且包含主观指标的情
况.
BP神经网络法⑶］将客观指标的属性值进作为BP神经网络模型的输入，将专家评价结果作为网络模型的输出，之后用足够多的样本训练这个模型，训练好的神经网络能够模拟专家进行评价.该方法不
第12期陈君毅，等：自动驾驶车辆智能性评价研究综述1789
能提供显式的解析表达式，这使得无法得知造成两个评价对象评价结果差异的确切原因，适用于被评对象规模较大时进行自动评价.
加权算术平均法利用加权的算术平均值来综合各指标的评价信息，如Zhao等0〕以自动驾驶车辆完成任务的成本函数值为指标属性值，以通过爛权法获得的权值为指标权重，应用加权平均算法获得综合评价结果，但是该方法单项指标的极值会影响评价结果的准确性.
pawn各集结模型的特点归纳如表4所示，在实际应用过程中，需要根据评价时具备的条件以及对评价结果的要求选择合适的集结模型.
表4自动驾驶车辆智能性评价集结模型
Tab.4Asmbling model for intelligence evaluation of autonomous vehicles
集结模型评价结果是否
具有普适性
是否要求有
训练样本
是否需要
专家评价
指标类型适用场合
灰色关联度法否否否客观指标对特定的若干个评价对象进行排序
TOPSIS方法否否否客观指标对特定的若干个评价对象进行排序
模糊综合评价方法是否是无限制适用于多层次指标体系，且包含主观指标的情况BP神经网络方法是是是客观指标被评对象规模较大时进行自动评价
加权算术平均值是否否无限制各评价对象差异不大，各项指标不存在极值
3.2定性评价方法
定性评价方法从自动驾驶车辆智能性本质出发，利用专家的知识、经验和判断，通过观察被评价对象的表现或状态，以归纳分析等非量化手段对自动驾驶车辆智能性进行评价.最终的评价结果是宏观的智能性水平划分，而非精确的数值.如王越超等「切提岀的蛛网模型从一个原点往外辐射出几条轴，每条轴代表一个决定智能性的关键技术，在每个轴上根据技术成熟度分为若干个等级，最后把每条轴上的对应点连接起来构成蛛网的纬线，以此评价智能性，如图2所示.latecome
图2智能性评价蛛网模型
Fig.2Cobweb model for intelligence evaluation 3.3定性评价和定量评价对比salt lake city
3.3.1评价结果
定性评价的结果是宏观的智能性水平划分，侧重于从智能性的本质上对自动驾驶车辆进行评价，相比于定量评价方法，其结果更加稳定可靠•但只有当自动驾驶车辆的智能性水平存在显著差异时才能区分出性能优劣，针对自动驾驶车辆产品无法做出智能性水平的详细定位和精确评价，针对技术研发也不能提供研发方向的精确性引导.
定量评价以精确数值概括全部的评价信息，适用于需要对不同自动驾驶车辆的智能性优劣做精确分析
的场合•评价结果直观明确，利于工程实践和自动驾驶车辆性能逐步提高.
3.3.2评价过程
从评价过程来看，定性评价方法以归纳分析等非量化手段对自动驾驶车辆智能性进行评价，对测试数据的要求不高，数学工具简单•定量评价中独立指标评价方法同样数学工具简单，但对测试数据有较高要求•联合指标评价方法首先需要区别不同评价指标的重要性差异，还需要将评价对象在各指标的评价结果综合成一个总体评价结果，因此需要用到复杂的数学工具，操作也更为复杂.定性评价方法和定量评价方法应用特点汇总如表5所示.
表5自动驾驶汽车智能性评价方法应用特点
Tab・5Application characteristics of intelligent evaluation method for autonomous vehicles
应用特点定性评价方法-
定量评价方法
独立指标评价方法联合指标评价方法
汁“亠r数据要求低髙髙评价过程数学工具
简单简单复杂
西城男孩好听的歌
评价结果需驚广自
改进方向信息宏观等级划分精确数值结果精确数值结果粗略粗略精确
局限智能性水平存在显著差
异时才能区分出优劣
无法对比得出在不同指标上表现各
有强弱的评价对象的智能性优劣
智能性难以全部通过客观指标来体现，而对
于主观指标难以获得可重复的评价结果
