疲劳检测

基于YOLOv3目标检测算法的驾驶员疲劳

检测实现

作者：阳家伟何鑫任月

来源：《中国新通信》2020年第02期

摘要：針对汽车驾驶员疲劳驾驶易导致交通事故这一问题，该文提出了基于YOLOv3目

标检测算法的驶员疲劳检测实现方案。YOLOv3算法主要采用Darknet53作为主特征提取网

络，在保证检测精度的同时提高检测精准度。YOLOv3算法作为获取驾驶员面部体征提取算

法，将得到的眼部数据，计算判断的得出眨眼频率，PERCLOS算法分析判断驾驶员是否疲

劳。试验表明，所提出的检测模型的mAP为90.30%，帧率58fps，能够适应实时监测的要

求。

关键词：疲劳监测;YOLOv3;PERCLOS

介绍：随着汽车数量的逐渐增多，随之而来的是交通事故的增加，国家统计局数据显示，

2018年全国交通事故高达2.4万起。在的交通事故中，由疲劳驾驶引起的事故比例逐渐增加，

驾驶员疲劳驾驶已经成为导致交通事故的主要原因[1]当前，国内外众多研究学者针对于如何

对汽车驾驶员是否疲劳开展广泛深入研究。主要分为三类主要方法。第一类，基于驾驶员人体

体征数据参数[2]。该方法主要通过人体体征数据分析驾驶员是否疲劳。虽对是否疲劳检测的

准确性较高，但由于检测设备过于庞大且检测过程较为复杂，导致了可能会对驾驶员正常的驾

驶汽车造成一定的影响。第二类，基于车辆行为检测检测[3-4]。该方法通过对行驶中汽车的行

驶的车速、加速度、方向盘转角等汽车行驶信息来进行判断。不同品牌的汽车参数性能各不相

同，同时不同地形的路况也会对汽车的表现造成一定影响，因此方法存在一定的局限性。第三

类，基于计算机机器视觉检测[5-7]。主要通过车影像设备能够实时获取驾驶员行驶汽车过程中

的脸部信息，再通过训练好的算法模型对采集到的脸部信息进行面部特征提取，然后通过分析

正常情况下眨眼的频率与频率状态下的眨眼频率，分析判定驾驶员的当前是否处于疲劳状态。

此方法能够最大程度上的减少对驾驶员正常驾驶汽车的影响，并具有一定的准确性。驾驶员的

疲劳检测，因为应用于汽车行驶的过程中，需要的是实时数据，因此对目标检测算法的实时性

有着很高的要求。目前基于深度卷积神经网络（ConvolutionNeuralNetwork，CNN）的算法应

用于三大类目标检测算法：第一类方法是基于学习搜索的检测算法，这类算法与其他算法的不

同点在于，是通过将图像特征提取任务转换为动态视觉搜索任务，这样虽然能够很好的提高了

特征提取的日本剧 速度，但是也会出现检测精度不足的问题。第二类方法，基于候选区域目标检测器

的目标识别算法。如FastR-CNN[8]、FasterR-CNN[9]等，这类算法检测精度较高，但检测速

度较慢，需要占用大量计算资源;第三类方法是基于回归方式的目标检测算法，如YOLO（You

OnlyLiveOnce）[10][11]系列算法等，此系列算法在不仅在保证目标检测准确率高的同时，在

检测速度方面也表现出优越的性能。目前YOLO系列算法已经发展到第三版吃什么最下奶 本即YOLOV3，

在对实时性要求比较高的目标检测任务当中表现相当出色。本文基于YOLOv3[12]目标检测算

法的实现对驾驶员疲劳状态的检测。

二、算法

2.1YOLOv3算法

YOLOv3算法相比较于前两个版本，主要进行了三方面的改进：

（1）新的网络结构Darknet53，主要借鉴ResNet残差网络思想。在原有的基础网络中大

量使用残差连接，缓解了训练中梯度小时的问题，使得能够将网络设计很深，当网络层次越

深，特征表达的效果就越好，分类与预测的性能就能得到提高;

（2）新的特征提取网络，主要采用多尺度融合预测方法。YOLOv3算法使用13*13、

26*26、52*52这三种不同尺度的特征图进行预测，采用金字塔网络[13]进行提取特征，通过上

采样特征合并，能够得到更丰富的语义信息，极大的提高检测算法对微型目标检测精度。

（3）分类损失函数替换。YOLOv3算法替换了原来的Softmax函数改为Logistic函数。

Softmax函数输出多个类别预测之间会互相抑制，Logistic分类器相互独立，可实现多类别预

测。

2.2特征提取网络Darknet–53

YOLOv3算法采用Darknet–53为特征提取网络，Darknet–53网络中有53个卷积层，采

用LeakyReLu作为修正函数。网络结构如图1所示。图中各块意义如下：DBL：代表卷积、

BN及LeakyReLU三层的结合。

Res：代表残差块。

上采样：上采样使用的方式为池化，即元素赋值扩充的方法使得特征尺寸扩大。

Concat：上采样后将深层与浅层的特征图进行Conncat操作，即通道的拼接。

从图1中可以看出Darknet–53结构的一些新特性：残差思想、多层特征图、无池化层。

2.3疲劳识别

PERCLOS（percentageofeyeIidcIosureoverthepupiI）[14]，PERCLOS算法指的是在一

定单位时间内眼睛闭合时间所占单位时间的比例，当眼睛闭合比例达到70%或80%时，则认

为出其中单位时间T取单位时间=20s，为每次眨眼时眼睛闭合所用的时间。

三、实验结果与分析

3.1实验环境

本文的实验模型训练环境配置：Intel（R）Core（TM）i7-8700处理器，64G内存，

NVIDIARTX2080Ti显卡，CUDA版本10.0，CUDNN版本7.4，OpenCV版本为3.3，操作系

统为windows10。

网络参数配置如下：动量为0.9，权重衰减为0.0005，迭代次数为500200，学习率使用分

步策略，初始值设置为0.001，变化的次数为400000和450000，比率为0.1和0.1。

3.2评价指标

在实际对于驾驶员是否疲劳状态检测的实际应用中，识别的准确率和速度尤为重要。若实

际检验中出现状态不准确，则十分容易导致对驾驶员疲劳检测出现错误。当驾驶员已经处于疲

劳状态，但系统仍然未能做出检测，则依旧会存在安全上的隐患。

本文采用每个类别相互独立的平均精确率均值mAP（meanaverageprecision），与每秒机

器能够检测到图像数量的帧数FPS（framespercond）作为目标检测模型性能好坏的评价指

标。

精确率与召回率的定义如下：

以本文为例，TP（TruePosition）：表示预测框正确地与标签匹配，即能够准确预测出眼

睛状态的数量;P（FalPositon）：表示将背景预测成物体，即指将脸部部位识别为眼睛数

量;FN（FalNegative）：表示本来需要检测出的物体，模型没有检测出，即眼睛没有检测出

的数量;TN（TrueNegative）：表示检测目标本无背景，检测模型也没能够识别出背景，即指

脸部，并没有识别出的数量。以召回率为横坐标，以识别的精准度为纵坐标，最终绘制出一条

P-R曲线。曲线下的面积即为AP，AP综合考量了不同召回率下的准确率，不会对P与R有

任何偏好。每个类别的AP是相互独立的，将每个类别的AP进行平均，即可以得到mAP。

3.3测试结果

根据以上计算指标得出模型的综合性能如表1所示，从表中可以看出检测精度与召回率都

比较高，F1-score也高达89%整体的应用性能较强。

另外，从图1模型训练的loss曲线中可以看出，随着迭代次数逐渐的增加，十分明显的可

以看出收敛速度较快，同时也能够达到很不错的学习效果，因此这一个具有代表性意义的典型

特征结果可以得出结论模型的学习能力较强。

针对于采集到的数据集，采用YOLOv3检测模型进行检测，P-R曲线如图2所示，mAP

达到了90.30%，一系列可靠实验的结果表明模型具有良好的普适性。

如表2所示，采用同一数据集与其他主流目标检测模型的性能对比后发现，YOLOv3与

FasterR-CNN在精准度上都达到了90%，但FasterR-CNN在检测的帧率上远远不如

YOLOv3，达不到实时检测的需求。虽然YOLOv3在检测速度上比YOLOv2略低，但在满足

实时检测的帧的同时还保证了检测的精准度。

四、结束语

本文主要研究，提出了基于YOLOv3目标检测算法实现对驾驶员疲劳状态检测方法。通

过一系列大量具有重复性的精准良好的结果均证明YOLOv3在目标检测任务中在检测速度与

精度的上表现出良好的优越性。同时，结合PERCLOS疲劳判断方法在是否判断上具有的普适

性，能够实现对驾驶员是否疲劳的实时检测。通过实时数据检测表明，该方法在检测精度与实

时性两个方面均展现出良好的性能。在后续研究中，将会考虑将模型移植到移动设备中，以适

应生产应用。

参考文献：

[1]MandalB，LiL，WangGS，sDetectionofBusDriverFatigueBadon

RobustVisualAnalysisofEyeState[J].IntelligentTransportationSystems，IEEETransactionson，

2017，18（3）：545-557.

[2]胥经典英文文章 川，王雪松，陈小鸿，等.基于决策树的驾驶疲劳等级分析与判定[J].同济大学学报

（自然科学版），2013，43（1）.

[3]GustavoLenis，PatrickReichensperger，DavidSommer，等.Detectionofmicrosleep

eventsinacardrivingsimulationstudyusingelectrocardiographicfeatures[C]//CurrentDirectionsinBiomedicalEngineering.2016.

[4]XiaoliangZ，JialiL，YugangL，ofaFatigueDetectionSystemforHigh-

SpeedTrainsBadonDriverVigilanceUsingaWirelessWearableEEG[J].Sensors，2017，17

（3）：486.

[5]李锐，蔡兵，刘琳，等.基于模型的駕驶员网名好听 眼睛状态识别[J]雷尼替丁胶囊 .仪器仪表学报，2016，

037（001）：184-191.

[6]FengD，ervisionforSHMofcivilinfrastructure：Fromdynamic

responmeasurementtodamagedetection-Areview[J].EngineeringStructures，2018，156

（FEB.1）：105-117.

[7]XiaoyunJ，LingyuZ，JiangR，chonFatigueDrivingDetectionMethod

ofFacialFeaturesFusion[J].PowerSystemandCleanEnergy，2016.

[8]张琦，胡广地，李雨生，等.改进Fast-RCNN的双目视觉车辆检测方法[J].应用光学，

2018，39（6）：832-838.

[9]RenS，HeK，GirshickR，R-CNN：TowardsReal-TimeObject

DetectionwithRegionProposalNetworks[J].IEEETransactionsonPatternAnalysisand

MachineIntelligence，2015.

[10]RedmonJ，Divvalas，GirshickR，yLookOnce：Unified，real-time

objectdetection[C]//as，

USA：IEEE，2016：779-788.

[11]RedmonJ，900北非战役 0Better，faster，stronger[C]//IEEEConferenceon

ach，California，USA：IEEE，2017：6517-6525.

[12]RedmonJ，3：Anincrementalimprovement[C]//IEEEConferenceon

lu，USA;IEEE，2017：6517-6525.[13]Dakhia

A，WangTT，-scalePyramidPoolingNetworkforsalient

objectdetection[J].Neurocomputing，201包头旅游景点 9，333：211-220.

[14]YanP，YanD，andImplementationofaDriver'sEyeStateRecognition

AlgorithmBadonPERCLOS[J].ChineJournalofEle清楚的近义词是什么 ctronics，2014（04）：18-21.

作者簡介：

阳家伟（1999.3.22）男;侗族;籍贯：广西三江;学历：本科;单位：西南民族大学。

本项目来源于大学生创新创业训练计划项目支持（项目编号：S2）