识度

现代电子技术ModernElectronicsTechnique

Jun.2022

Vol.45No.12

2022年6月15日

第45卷第12期

0引言

随着人们生活水平的提高，私家车愈来愈多，对车

辆的安全行驶提出了更高的要求。由于受到天气的影

响，在下雨天、下雪天、结冰道路或者潮湿的环境下，道

路路面摩擦系数是不相同的，需要驾驶员以安全的车速

行驶，才能尽可能避免交通事故的发生。而大部分交通

事故发生是由于在恶劣的环境下，驾驶员错误判断，从

而出现超速或其他不安全状况。因此，通过一个车载设

备对路面湿滑状态进行识别，然后根据路面湿度以及当

前车速对驾驶员进行引导与预警是十分有必要的，道路

路面湿滑状态识别是其中相当关键的一环。

目前道路路面湿滑状态的识别主要是通过传统的

机器学习来实现的，即通过对路面特征信息进行提取、

分析，用支持向量机（SupportVectorMachines，S深情告白 VM）或

者人工神经网络（ArtificialNeuralNetwork，ANN）对路

DOI：10.16652/.1004⁃373x.2022.12.025

引用格式：杨路明，黄德启，魏霞，等.基于深度学习的路面湿滑状态识别研究[J].现代电子技术，2022，45（12）：神话传说有哪些 137⁃142.

基于深度学习的路面湿滑状态识别研究

杨路明，黄德启，魏霞，王佳

（新疆大学电气工程学院，新疆乌鲁木齐830047）

摘要：针对路面湿滑状态识别存在场景复杂多变、传统机器学习识别率低以及泛化能力差的问题，文中提出一种基

于残差神经网络（ResNet⁃18）的路面湿滑状态识别算法。首先设计一种基于二维伽马函数的自适应校正算法，对光照不均

匀的照片数据进行校正处理；然后在残差网络的残差块的特征连接层引入注意力机制，加强显著性特征的学习权重；再根据

路面特征的相近性，在残差网络全连接层加入损失函数，损失函数由SoftmaxLoss与CenterLoss融合得到，SoftmaxLoss实现

提取特征的可区分，CenterLoss加大所提取特征的差异化，从而提高路面识别精度。实验结果表明：所提算法在训练集的识

别率为98.6%，验证集的识别率为96.7%，说明该算法能够对复杂场景下的路面湿滑状态进行识别，且具有较高的识别率和

较强的泛化性能。

关键词：路面特征；湿滑状态；残差网络；深度学习；注意力机制；损失函数；识别精度

中图分类号：TN911.23⁃34；U491.251文献标识码：A文章编号：1004⁃373X（202讲话稿格式 2）12⁃0137⁃06

Deeplearning⁃badidentificationofslipperystateofroadsurface

YANGLuming，HUANGDeqi，WEIXia，WANGJia

（SchoolofElectricalEngineering，XinjiangUniversity，Urumqi830047，China）

Abstract：Inallusiontotheproblemofcomplexandvariablescene，lowrecognitionrateoftraditionalmachinelearning

andpoorgeneralizationability，aroadslipperystaterecognitionalgorithmbadonResNet⁃18（residualnetwork⁃18）is

tivecorrectionalgorithmbadontwo⁃dimensionalgammafunctionisdesignedtoconductthecorrection

entionmechanismisintroducedintothecharacteristicsconnectionlayerof

theresidualblockintheresisfunctionis

obtainedbythefusionofSoftmaxLossandCenterLoss，fromwhichSoftmaxLosscanrealizethedifferentiationoftheextraction

features，andtingtothesimilaritycharacteristics

oftheroadsurf描写天气 ace，thelossfunctionisaddedtothefullconnectionlayerintheresidualnetworktoimprovetheaccuracyofthe

erimentalresultsshowthattherecognitionrateofthepropodalgorithminthetrainingtis

98.6%andtherecognitionrateintheverificationtis96.7%，whichshowsthatthealgorithmcanidentifytheslipperystateof

theroadsurfaceincomplexscenes，andhasahighrecognitionrateandstronggeneralizationperformance.

Keywords：roadsurfacefeature；slipperystate；residualnetwork；deeplearning；attentionmechanism；lossfunction；

recognitionaccuracy

收稿日期：2021⁃11⁃16修回日期：2021⁃12⁃28

基金项目：国家自然科学基金资助项目（51468062）

137

现代电子技术2022年第45卷

面图像进行分类。目前已经有一些学者进行了相应的

研究并取得了一定的成果，文献[1]对SVM在道路湿滑

状态识别中的应用进行了深入的研究，通过对核函数的

选取、分类器的设计来实现路面湿滑状态的识别。文

献[2]设计了应用于高速路段的道路结冰检测系统，基

于OpenCV+Python技术，通过对道路路面的颜色、纹理

特征的提取，选取SVM作为宝宝拉稀怎么办 分类器，实现结冰路面的识

别，识别率为80.4%。文献[3]设计了一种网格搜索算法

和粒子群优化算法（ParticleSwarmOptimization，PSO）

算法，用来优化支持向量机的核函数因子和惩罚因子，

从而达到路面识别的高精度和泛化性能，路面识别率为

85.6%。然而将深度学习应用于道路湿滑状态识别的

研究很少。

上述研究使用传统的机器学习算法，虽然能够做到

路面状态的识别，但是精度有很大的提升空间，同时泛

化性能也需要进一步加强。

随着深度学习的发展以及数据处理能力的不断提

升，深度学习无论是在人脸识别、遥感图像识别，还是在

交通、医疗等方面都取得了巨大成就

[4]

。卷积神经网络

作为深度学习最具有代表性的算法之一

[5]

，通过卷积层

提取特征、池化层进行数据降维、全连接层进行分类，从

而实现对图像的识别

[6]

。本文使用残差神经网络

（ResNet⁃18）模型并引入注意力机制来优化网络，用

SoftmaxLoss与CenterLoss融合作为损失层对路面湿滑

状态进行识别，达到路面识别的高精度且使网络具有较

好的泛化性能。

1数据的采集和处理

1.1数据采集

在数据的采集过程中，拍照的角度会对网络的泛化

能力产生影响，因此可以通过改变数据拍摄的角度提高

网络泛化性能。本文数据来源于乌鲁木齐市红山公园

附近街道，对路面进行6种分类，分别为干燥沥青路面、

潮湿沥青路面、干燥混凝土路面、潮湿混凝土路面、积雪

路面以及结冰路面。将拍摄的路面照片进行分类保存，

实验过程使用的数据将从保存的数据中提取。

1.2数据处理

本文实际采集照片数据共1800张，通过随机剪

裁、镜像以及添加噪声的方法对数据进行增强，数据增

强至原数据的5倍，照片数量为9000张。数据展示如

图1所示。

1.2.1光照不均匀图像的校正

在数据的采集过程中，由于路面场景状况复杂多

变，会出现物体之间的遮挡或者光照不均匀的情况，主

要表现为图像部分区域亮度过高，部分区域亮度偏暗，

导致一些重要细节不明显甚至被掩盖，也会使不同类型

的路面呈现出类似的特征，使得识别难度增加，因此需

要对光照不均匀的数据进行校正处理。本文算法主要

思想是：首先提取图像的光照分量；然后基于二维伽马

函数构造一种自适应亮度校正函数，利用图像光照分量

的分布特性自适应调整二维伽马函数的参数，从而完成

对光照不均匀图像的校正处理

[7]

。

图1六类不同湿滑状态数据示

选用多尺度的高斯函数来提取光照分量，高斯函数

选取如下：

G(x,y)=exp()

-x

2+y2

c

2

（1）

式中：c为尺度因子；为归一化常数。光照分量估计值

的表达式为：

I()x,y=∑i=1

N

i[]F()x,yGi()x,y（2）

式中：I()x,y为()x,y点处由多个不同尺度的高斯函数

提取并加权后的光照分量值；i为第i个尺度高斯函数

提取出的光照分量的权系数；N表示高斯函数的尺度

数，本文取N=3，即用3个不同尺度的高斯函数提取光

照分量的值（所选用的尺度因子c的值分别为20，90和

260），并且将光照分量的权系数都设定为13。

对于输入的图像F()x,y，假设提取出的光照分量

为I()x,y，构造二维伽马函数，表达式如下：

O()x,y=255()F()x,y255,=

()1

2I()x,y-m′

m′（3）

式中：O()x,y为图像校正后的亮度值；为用于亮度增

138

第12期

强的指数值；m′为光照分量的亮度均值。

当输入图像的某一点的光照值大于整幅光照分量

的均值时，二维伽马函数会以指数形式减少其亮度值，

反之亦然。本文选择HSV色彩空间对光照片进行校

正，校正结果如图2所示。

图2光照不均匀照片校正结果

图2所示结果表明，经处理后的图片，在光照过强

区域亮度有所下降，并且提高了光照过低区域亮度，使

图像本身特征更加凸显，从而减少因光照因素导致的路

面特征不明显甚至被覆盖的情况。

1.2.2图像去噪

由于数据的采集过程受到天气、障碍物遮挡等因素

的干扰，对图像的特征提取、模型的灵敏度和分类精度

会产生不良影响，因此图像的去噪是必不可少的。小波

去噪能够有效去除图像中噪声的同时还保留图像细节

信息，并且计算量小。故本文选用小波去噪的方法来处

理照片，处理结果展示如图3所示。

图3图像去噪处理结果

2算法实现

本文采用ResNet⁃18模型，在特征连接层引入注意

力机制，使得模型专注于学习路面特征，降低了亮度不

一致、对比度低对模型的干扰，提高了模型的灵敏度和

识别精度；再将SoftmaxLoss与CenterLoss融合作为损

失层，进一步提高模型识别精度。路面状态识别流程

如图4所示。

2.1残差网络

为了得到更好的实验效果，一般通过加深网络的层

数在一定的限度内提升网络性能。但是随着网络深度

的加深，会出现梯度弥散问题，导致网络性能退化，不能

保证更深的网络层数一定能得到更好实验的效果。

He等人提出一种残差网络算法，可保证深层网络

的性能不会退化

[8]

。残差网络是由一系列的残差块组

成

[9]

，每个残差块基础计算公式可以表示为：

xl+1=xl+F()xl,Wl（4）

每个残差块由直接映射部分和残差部分组成。

F()xl,Wl是残差部分，一般由2个或者3个卷积操作构

成。在卷积网络中xl和xl+1的特征图的数量一般不同，

要用11的卷积核完成特征维度匹配，此时的残差块

表示为：

xl+1=h()xl+F()xl,Wl（5）

式中，h()xl=W′x

，W′l

是11的卷积操作。残差块结构

如图5所示，该模块避免了梯度弥散造成模型性能下降

的问题，使得深层网络易于训练并且保证了深层网络的

性能。

图4路面状态识别流程

图5残差块

2.2注意力机制

残差块能够较好地解决梯度弥散的问题，提高网络

模型性能，充分获取路面特征信息，但是特征的提取仍

受到路面光照不均匀、对比度低等因素的影响。因此,

本文在特征连接层引入注意力机制，能加重有效信息的

学习，降低无效信息的影响

[10]

。

注意力权重(0≤≤1)由高级特征图和低级特征

图得到，有获取图像显著性特征的作用。高级特征图包

含了丰富的语义信息，低级特征图包含了全局信息

[11]

，

杨路明，等：基于深度学习的路面湿滑状态识别研究

139

现代电子技术2022年第45卷

计算公式如下：

tl

i=

1()WT

ddl

i+W

T

uul

i+b

1

l

i=

2()WT

tl

i+b

2

（6）

式中：i表示像素空间大小；dl

i表示低级特征图，ul

i表示高

级特征图；tl

i表示中间输出；Wd，Wu表示线形变换参数；

b

1和b2表示偏置项；1和2分别表示ReLU激活函数和

Sigmoid激活函数。低级特征图与注意力权重逐元素相

乘即可得到输出的激活特征：

ol

i=dl

i,cl

i（7）

式中c为通道尺寸。

注意力机制结构如图6所示。利用高级特征图的

特性改变路面不同区域以及特征的权重，可有效降低亮

度不均匀、对比度低和背景噪声的影响。虽然注意力机

制的加入使得网络模型变得复杂，但是注意力机制模块

引入参数少且采用11卷积层，并不会加大网络计算的

复杂度。

图6注意力机制结构

引入注意力机制后，残差块结构将发生变化，其结

构如图7所示，其中A表示注意力机制（Attention

Mechanism）。

图7引入注意力机制的残差块

2.3CenterLoss损失函数

在光照、拍摄设备、路面场景多变性等因素的影响

下，会出现不同类的路面特征相近的情况。而Center

Loss辅助损失函数具有使类特征间距变大，类内特征

距离减小的特性，能够在一定程度上解决上述问题，进

一步提高模型精度。

本文使用SoftmaxLoss与CenterLoss融合作为损

失层，Softma代理商品 xLoss实现了特征可区分，CenterLoss使特

征差异化更大

[12]

。

SoftmaxLoss函数的公式如下：

L

S=-∑i=1

mlog

eW

T

y

i

x

i+by

i∑j=1

neW

T

j

x

i+bj

（8）

式中：Wx+b是全连接层的输出；log函数的输入就是xi

属于yi类别的概率；m表示batch的大小；n表示分类数。

CenterLoss的公式如下：

L

C=

1

2

∑i=1

mxi-cy

i

2

2

（9）

式中：cy

i

表示第yi个类别的特征中心；xi表示全连接层

之前的特征。该损失函数目的是使batch中的每个样本

特征离特征中心的距离平方和尽可能小，也就是类内距

离尽可能小

[13]

。

关于L

C的梯度和cy

i

的更新公式如下：∂LC∂xi=xi-cy

i

cj=∑i=1

m

()yi=j()cj-xi

1+∑i=1

m

()yi=j

（10）

本文所用算法的损失L由SoftmaxLoss和Center

Loss组成，用控制二者的比重，以此改变类内间距。

本文取0.1，公式如下：

L=L

S+LC

=-∑i=1

mlog

eW

T

y

i

x

i+by

i∑j=1

neW

T

j

x

i+bj

+2

∑i=1

mxi-cy

i

2

2

（11）

3实验结果与分析

本文实验数据全部来源于同一设备拍摄，所拍路面

为乌鲁木齐市红山公园附近街道。实拍2500张不同

路面、地点照片，经过筛选，将1800张当作初始数据

集，通过数据增强，将数据增加至9000张，每种路面状

态照片为1500张，把前80%作为训练集，后20%

作为测试集。

3.1本文算法

本文对ResNet⁃18网络进行改进，在特征连接层引

入注意力机制，在全连接层后加入损失层，提升网络性

能；所选用框架为Pytorch，用RTX2080Ti显卡对数据进

行训练，迭代400次，实验结果如图8所示。

由图8实验结果可知：在训练集上，随着迭代次数

的增加，识别准确率稳步提高，损失逐渐下降，说明所选

择的网络模型以及参数都比较合理，能够保证分类的正

确率；在测试集上，识别率随着迭代次数增加而增加，但

曲线存在一定的震荡，特别是迭代到接近200次时，有

一个较大浮动。其主要原因是路面信息复杂多变，神经

140

第12期

网络是一个学习的过程，也是一个自我寻优、调整的表

现。在迭代次数大于200后，识别率基本稳定在95%上

下，虽有浮动，但是总体趋于一个稳定上升状态，准确率

最高达到98.6%。本文将这个模型保存并作为最终的

模型。

图8本文算法迭代400次后的结果

3.2VGGNet、GoogLeNet与本文算法的对比

VGGNet、GoogLeNet作为卷积神经网络的代表性算

法，在图像处理方面应用广泛。为验证本文算法，用同

样的数据和预处理方法，分别将VGGNet、GoogLeNet与

本文算法进行训练和对比，实验结果对比如图9所示。

图9不同算法结果对比

由图9可知，本文算法相较于VGGNet、GoogLeNet，

识别率更高，收敛更快，说明本文算法在道路湿滑状态

识别方面更优。

3.3网络在不同改进方法下的结果对比

作为对比，本文用同样的数据和预处理方法，分别

对基础的ResNet⁃18模型、仅加入注意力机制的ResNet⁃

18模型、仅加入损失函数的ResNet⁃18模型以及本文提

出的加入注意力机制和损失函数的ResNet⁃18模型进行

实验对比，结果如图10所示。

图10不同改进方法对比

从图10可看出：随着迭代次数的增加，引入注意力

机制的网络识别率要高于基础网络；加入损失层后的网

络识别率也高于基础网络；本文算法要优于其他三种算

法。这说明SoftmaxLoss和CenterLoss融合作为损失层

对网络有一定正优化作用，注意力机制的引入也能有效

地提高网络的灵敏度和识别精度，证明引入注意力机制

和损失函数是最优的选择。

3.4本文算法与传统机器学习的比较

用传统的机器学习对路面进行分类，本文选取路面

图像的HIS空间中H分量以及I分量的3个低阶矩阵作

为图像颜色特征，选取能量、熵和方差作为图像的纹理

特征，选用SVM作为分类器

[3]

。用同样的数据进行实

杨路明，等：基于深度学习的路面湿滑状态识别研究

141

现代电子技术2022年第45卷

验，得出本文算法识别精度达到85.4%，在路面湿滑状

态识别中准确率要明显高于常用字体 传统机器学习方法，这也证

明了深度学习应用于路面识别可行，改进后的残差网络

应用于路面湿滑状态识别效率更高。

取不同类别路面照片各10张（未进行训练和测试

的样本），对本文算法和传统机器学习算法进行验证，验

证结果如表1所示。

表1不同方法在验证集上的识别情况

路面类别

干燥沥青

潮湿沥青

干燥混凝土

潮湿混凝土

积雪

结冰

样本数量

10

10

10

10

10

10

改进后的ResNet-18

识别数量

9

9

10大众总部

10

10

10

传统机器学习

识别数量

7

8

9

8

8

9

从表1可以看出：在验证集上，改进后的ResNet⁃18

网络的识别率为96.7%；传统的机器学习的识别准确率

为81.7%，验证了改进后的ResNet⁃18网络不仅仅识别

准确率更高，而且具有较好的泛化性能。

从实验结果上可以看出，在迭代200次后，优化的

残差网络准确率能够稳定在95%上下，最高达到

98.6%。通过60张样本照片测试，也验证了该算法应用

在路面状态识别是十分有效的，且具有较好的泛化性

能。传统的机器学习算法通过样本集样本照片测试，识

别准确率维持在85%，结果不理想。不管是测试集还是

验证集，本文方法的识别准确率都要高于传统机器学习

方法，泛化能力也更强，说明本文提出的算法在路面状

态的识别中是更有效的。

4结语

本文针对道路路面状态识别所存在的问题，将残差

网络应用于道路路面状态识别中，通过引入注意力机制

来改进网络，提高网络的灵敏度和精确度；通过加入损

失函数来优化残差网络，进黑豆汤 一步提高识别精度。实验结

果与分析表明，本文算法相比于传统机器学习方法，路

面状态识别率更高，并且具有更强的泛化能力。在未来

的智能驾驶领域，通过该网络能够更加准确地识别路面

状态，为车辆安全行驶提供更多的保内消瘰疬片 障。

注：本文通讯作者为黄德启。

参考文献

[1]刘新宇，黄德启.基于SVM分类器的道路湿滑图像分类方法

研究[J].武汉理工大学学报（交通科学与工程版），2011，35

（4）：784⁃787.

[2]李欣.基于OpenCV_Python的道路结冰检测系统的设计[J].陕

西科技大学学报，2017，25（4）：158⁃164.

[3]ZHAOJD，WUHQ，rfacestate

recognitionbadonSVMoptimizationandimagegmentation

processing[J].Journalofadvancedtransportation，2017，15

（6）：1⁃21.

[4]郑远攀，李广阳，李晔.深度学习在图像识别中的应用研究综

述[J].计算机工程与应用，2019，55（12）：20⁃36.

[5]郭丽丽，丁世飞.深度学习研究进展[J].计算机科学，2015，42

（5）：28⁃33.

[6]周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学

报，2017，40（6）：1229⁃1251.

[7]刘志成，王殿伟，刘颖，等.基于二维伽马函数的光照不均匀图

像自适应校正算法[J].北京理工大学学报，2016，36（2）：191⁃

196.

[8]HEKaiming，ZHANGXiangyu，RENShaoqing，

residuallearningforimagerecognition[C]//2016IEEE

Vegas：IEEE，2016：770⁃778.

[9]赵志成，罗泽，王鹏彦，等.基于深度残差网络图像分类算法研

究综述[J].计算机系统应用，2020，29（1）：14⁃21.

[10]高明柯，赵卓，逄涛，等.基于注意力机制和特征融合的手势

识别方法[J].计算机应用与软件，2020，37（6）：199⁃203.

[11]张文秀，朱振才，张永合，等.基于残差块和注意力机制的细

胞图像分割方法[J].光学学报，2020，40（17）：76⁃83.

[12]杨青，陆安江，高进.基于深度学习的CenterLoss算法研究

[J].通信技术，2019，52（8）：1878⁃1883.

[13]QIC，stive⁃centerlossfordeepneuralnetworks

[C]//2017IEEEInternationalConferenceonImage

g：IEEE，2017：2851⁃2855.

作者简介：杨路明（1995—），男，河南叶县人，硕士，研究方向为模式识别与智能系统。

黄德启（1972—），男，湖北武汉人，博士，副教授，硕士生导师，研究方向为智能交通、模式识别与智能系统。

魏霞（1977—），女，新疆乌鲁木齐人，副教授，主要研究方向为模式识别与智能系统。

王佳（1996—），男，甘肃会宁人，硕士，主要研究方向为模式识别与智能系统。

142