于进

第３５卷第２期

２０２１年４月

江苏科技大学学报（自然科学版）

ＪｏｕｒｎａｌｏｆＪｉａｎｇｓｕＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）

Ｖｏｌ．３５Ｎｏ２

Ａｐｒ．２０２１

ＤＯＩ：１０．１１９１７／ｊ．ｉｓｓｎ．１６７３－４８０７．２０２１．０２．００８

一种基于改进ＧｏｏｇＬｅＮｅｔ的油井故障识别方法

宋纯贺１，２，３，４，李泽熙４，５，于洪霞５，刘意杨１，２，３，４

，冯铁英６，张雪健６

（１．中国科学院沈阳自动化研究所机器人学国家重点实验室，沈阳１１００１６）

（２．中国科学院网络化控制系统重点实验室，沈阳１１００１６）

（３．中国科学院机器人与智能制造创新研究院，沈阳１１０１６９）

（４．中国科学院沈阳自动化研究所，沈阳１１００１６）

（５．沈阳工业大学人工智能学院，沈阳１１０８７０）

（６．杭州西奥电梯有限公司，杭州３１１１９９）

摘 要：油井功图是油井工作状态分析和故障诊断的重要依据，深度学习为油井功图的识别提供了有效手段，针对合理的

深度神经网络架构的选择问题，构建了一个用于油井故障诊断的大型功图数据集，提出一种基于改进ＧｏｏｇＬｅＮｅｔ网络结构

的油井故障识别方法，并对深度神经网络的结构、激活函数、归一化层、训练方法、学习率等重要参数对识别精度和训练时

间的影响进行了详细的分析．实验表明，相对于广泛使用的ＬｅＮｅｔ、ＲｅｓＮｅｔ和基本ＧｏｏｇＬｅＮｅｔ等网络模型，提出的改进

ＧｏｏｇＬｅＮｅｔ网络模型有着更高的准确率；同时相对于基本ＧｏｏｇＬｅＮｅｔ网络模型，所提模型的运行时间得到了有效的降低．

关键词：故障识别；油井功图；深度学习；ＧｏｏｇＬｅＮｅｔ

中图分类号：ＴＰ３９１４ 文献标志码：Ａ 文章编号：１６７３－４８０７（２０２１）０２－０５２－０７

收稿日期：２０２０－１０－１５ 修回日期：２０２０－１２－０７

基金项目：国家重点研发计划项目（２０１８ＹＦＢ１７００２００）；国家自然科学基金资助项目（Ｕ１９０８２１２，６１７７３３６８）；兴辽英才项目（ＸＬＹＣ１９０７０５７）

作者简介：宋纯贺（１９８１—），男，研究员，博士，研究方向为边缘计算．Ｅｍａｉｌ：ｓｏｎｇｃｈｕｎｈｅ＠ｓｉａ．ｃｎ



通信作者：刘意杨（１９８０—），男，研究员，博士，研究方向为智能控制与优化．Ｅｍａｉｌ：ｓｉａｌｉｕｙｉｙａｎｇ＠ｓｉａ．ｃｎ

引文格式：宋纯贺，李泽熙，于洪霞，等．一种基于改进ＧｏｏｇＬｅＮｅｔ的油井故障识别方法［Ｊ］．江苏科技大学学报（自然科学版），２０２１，３５（２）：

５２－５８．ＤＯＩ：１０．１１９１７／ｊ．ｉｓｓｎ．１６７３－４８０７．２０２１．０２．００８．

ＡｎｏｉｌｗｅｌｌｆａｕｌｔｉｄｅｎｔｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｉｍｐｒｏｖｅｄＧｏｏｇＬｅＮｅｔ

ＳＯＮＧＣｈｕｎｈｅ１，２，３，４，ＬＩＺｅｘｉ４，５，ＹＵＨｏｎｇｘｉａ５，

ＬＩＵＹｉｙａｎｇ１，２，３，４

，ＦＥＮＧＴｉｅｙｉｎｇ６，ＺＨＡＮＧＸｕｅｊｉａｎ６

（１．ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＲｏｂｏｔｉｃｓ，ＳｈｅｎｙａｎｇＩｎｓｔｉｔｕｔｅｏｆＡｕｔｏｍａｔｉｏｎ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｓｈｅｎｙａｎｇ１１００１６，Ｃｈｉｎａ）

（２．ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＮｅｔｗｏｒｋｅｄＣｏｎｔｒｏｌＳｙｓｔｅｍｓ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｓｈｅｎｙａｎｇ１１００１６，Ｃｈｉｎａ）

（３．Ｉｎｓｔｉｔ春的寓意 ｕｔｅｓｆｏｒＲｏｂｏｔｉｃｓａｎｄＩｎｔｅｌｌｉｇｅｎｔＭａｎｕｆａｃｔｕｒｉｎｇ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｓｈｅｎｙａｎｇ１１０１６９，Ｃｈｉｎａ）

（４．ＳｈｅｎｙａｎｇＩｎｓｔｉｔｕｔｅｏｆＡｕｔｏｍａｔｉｏｎ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｓｈｅｎｙａｎｇ１１００１６，Ｃｈｉｎａ）

（５．ＳｃｈｏｏｌｏｆＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，ＳｈｅｎｙａｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｓｈｅｎｙａｎｇ１１０８７０，Ｃｈｉｎａ）

（６．ＨａｎｇｚｈｏｕＸＩＯＬＩＦＴＣｏ．Ｌｔｄ．，Ｈａｎｇｚｈｏｕ３１１１９９，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｏｉｌｗｅｌｌｐｏｗｅｒｄｉａｇｒａｍｉｓｖｅｒｙｉｍｐｏｒｔａｎｔｆｏｒｏｉｌｗｅｌｌｗｏｒｋｉｎｇｓｔａｔｅａｎａｌｙｓｉｓａｎｄｆａｕｌｔｄｉａｇｎｏｓｉｓ．Ｄｅｅｐ

ｌｅａｒｎｉｎｇｐｒｏｖｉｄｅｓａｎｅｆｆｅｃｔｉｖｅｍｅａｎｓｆｏｒｏｉｌｗｅｌｌｐｏｗｅｒｄｉａｇｒａｍａｎａｌｙｓｉｓ，ｈｏｗｅｖｅｒ，ｔｈｅｏｐｔｉｍａｌｄｅｅｐｎｅｕｒａｌｎｅｔ

ｗｏｒｋａｒｃｈｉｔｅｃｔｕｒｅｉｓｄｉｆｆｉｃｕｌｔｔｏｄｅｔｅｒｍｉｎｅ．Ｔｏｓｏｌｖｅｔｈｉｓｉｓｓｕｅ，ｆｉｒｓｔ，ａｌａｒｇｅｐｏｗｅｒｄｉａｇｒａｍｄａｔａｓｅｔｆｏｒｏｉｌｗｅｌｌ

ｆａｕｌｔｄｉａｇｎｏｓｉｓｉｓｃｏｎｓｔｒｕｃｔｅｄ，ｓｅｃｏｎｄ，ａｎｉｍｐｒｏｖｅｄＧｏｏｇＬｅＮｅｔｓｔｒｕｃｔｕｒｅｉｓｐｒｏｐｏｓｅｄｆｏｒｏｉｌｗｅｌｌｆａｕｌｔｉｄｅｎｔｉｆｉｃａ

ｔｉｏｎ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅｉｎｆｌｕｅｎｃｅｏｆｃｏｒｅｆａｃｔｏｒｓｏｆａｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ，ｓｕｃｈａｓｔｈｅａｃｔｉｖａｔｉｏｎｆｕｎｃｔｉｏｎ，ｔｈｅｎｏｒ

ｍａｌｉｚａｔｉｏｎｌａｙｅｒ，ｔｈｅｔｒａｉｎｉｎｇｍｅｔｈｏｄ，ａｎｄｔｈｅｌｅａｒｎｉｎｇｒａｔｅａｒｅａｎａｌｙｚｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｉｍ

ｐｒｏｖｅｄＧｏｏｇＬｅＮｅｔｎｅｔｗｏｒｋｍｏｄｅｌｈａｓｈｉｇｈｅｒａｃｃｕｒａｃｙｔｈａｎｔｈｅｗｉｄｅｌｙｕｓｅｄｎｅｔｗｏｒｋｍｏｄｅｌｓｓｕｃｈａｓＬｅＮｅｔ，Ｒｅｓ

Ｎｅｔ，ａｎｄｂａｓｉｃＧｏｏｇＬｅＮｅｔ．ＣｏｍｐａｒｅｄｗｉｔｈｔｈｅｂａｓｉｃＧｏｏｇＬｅＮｅｔｎｅｔｗｏｒｋｍｏｄｅｌ，ｔｈｅｒｕｎｎｉｎｇｔｉｍｅｏｆｔｈｅｐｒｏ

ｐｏｓｅｄｍｏｄｅｌｉｓｅｆｆｅｃｔｉｖｅｌｙｒｅｄｕｃｅｄ．

Ｋｅｙｗｏｒｄｓ：ｆａｕｌｔｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ｏｉｌｗｅｌｌｄｉａｇｒａｍ，ｄｅｅｐｌｅａｒｎｉｎｇ，ＧｏｏｇＬｅＮｅｔ

目前油田主要采用的传统有杆抽油系统，一旦

系统出现故障，会造成采油成本增加、设备损坏，以

及采油量降低；如果发生事故，则可能引发严重的

人员和财产损失．因此设计可以及时且准确的识别

油井故障类型的解决方法，不但可以减少人力成

本，还可以提升油井的工作效率和安全性．文献

［１］将极限学习机的方法应用在有杆抽油机的故

障分析中，首先对示功图的特征进行提取，再利用

极限学习机进行故障分类．文献［２］使用傅里叶变

换的方式对功图进行特征提取，再使用径向基神经

网络对提取的特征进行故障分类．上述方法虽然可

以解决抽油井故障诊断的问题，但是存在训练时间

长，准确率不高，参数设置复杂等问题．

深度学习的发展极大地推动了智能识别技术，

目前深度学习模型已经被应用到油井功图故障识

别问题之中［３－５］，但仍然存在数据量少、模型识别

精度不高的问题．在深度学习的理论基础上，文中

提出了一种基于改进ＧｏｏｇＬｅＮｅｔ网络结构的油井

故障识别方法．实验证明，采用改进的ＧｏｏｇＬｅＮｅｔ

网络结构，识别故障准确率为９６０５％，相对于基

于ＬｅＮｅｔ、ＲｅｓＮｅｔ，以及基本ＧｏｏｇＬｅＮｅｔ等网络的识

别方法，识别准确率有了明显的提升．

１ 油田功图数据集的构建

１１ 示功图样本预处理

文中数据来自辽河油田，其中包含了５３个油

井，从２０１９年９月～２０１９年１１月这３个月的油井

工况数据．数据包括了井号、数据采集时间、位移、

载荷、油管内径、油压等重要数据．考虑到泵工图能

够更加准确地表示抽油机的工作装填，因此将悬点

示功图转换为地层抽油泵处的泵功图．泵功图的横

坐标为位移数据，数据量为２００个；纵坐标为载荷

数据，数据量为２００个，图像形状为不规则的闭合

曲线．此后对功图进行标准化处理，生成２２４像素

２２４像素大小的标准示功图．

１２ 示功图样本的选择

在辽河油担子的意思 田得到的大量数据中，选择具有代表

性且已经完成标准化处理的大小为２２４像素２２４

像素的示功图作为样本．每一种工况类型对应

１０５０张样本数据图像，一共１１种工况，总计

１１５５０张图像．每种功图的典型图像如图１．

２ ＧｏｏｇＬｅＮｅｔ及其改进思路

卷积神经网络的应用十分广泛，在图像识别，

计算机视觉［６－７］，人脸识别［８－９］等方面有着重要作

用．卷积神经网络是一种深度学习模型，同时也是

一种类似于人工神经网络的多层感知器，常用于分

析视觉图像，进行语义识别．卷积神经网络［１０］一般

包含数据输入层，卷积层，池化层，归一化层，全连

接层［１１］等．目前常用的卷积神经网络架构包括

ＶＧＧ、ＧｏｏｇｌｅＮｅｔ、ＲｅｓＮｅｔ等，文中比较各种常用深

度学习网络模型在油井功图故障识别数据集的性

能，选择了ＧｏｏｇＬｅＮｅｔ作为基本网络架构，并进行

了相应的改进．

图１ １１种工况的示功图

Ｆｉｇ．１ Ｉｎｄｉｃａｔｏｒｄｉａｇｒａｍｓｏｆ１１ｗｏｒｋｉｎｇｃｏｎｄｉｔｉｏｎｓ

ＧｏｏｇＬｅＮｅｔ［１２］采用模块化的结构，即Ｉｎｃｅｐｔｉｏｎ

结构，如图２．ＧｏｏｇＬｅＮｅｔ网络结构模型有２２层，由

２１层卷积层，１层全连接层和２个额外的辅助分类

器层所组成．文中对ＧｏｏｇＬｅＮｅｔ网络结构模型进行

改进，使得该网络结构模型更加适合需求．其主要

的改进体现在：

①

去掉额外的两个辅助分类器部

分，减少网络复杂程度，提升网络训练速度；

②

加

入ＣＮ归一化层；

③

在每一层卷积层之后加入激活

函数，使用ＲｅＬｕ激活函数和ＥＬＵ激活函数，进一

步提升网络训练速度和准确率；

④

在平均池化层

后加入三层全连接层；

⑤

在三层全连接层后加入

Ｄｒｏｐｏｕｔ层．

３５第２期 宋纯贺，等：一种基于改进ＧｏｏｇＬｅＮｅｔ的油井故障识别方法

图２ Ｂｌｏｃｋ部分的结构

Ｆｉｇ．２ ＳｔｒｕｃｔｕｒｅｏｆＢｌｏｃｋ

ＧｏｏｇＬｅＮｅｔ要求原始输入图像像素大小为

２２４２２４３，且都需要进行预处理操作，使用７

７的卷积核，进行特征提取，卷积核的滑动步长为

２，填充宽度为３，卷积后进行ＲｅＬＵ操作，再经过

３３的ｍａｘｐｏｏｌｉｎｇ层，其步长为２，再进行ＲｅＬＵ

操作．使用３３的卷积核再次进行特征提取，卷积

核的滑动步长为１，填充宽度为１，卷积后进行Ｒｅ

ＬＵ操作，经过３３的ｍａｘｐｏｏｌｉｎｇ，其步长为２，再

进行ＲｅＬＵ操作，从而分析浅层的特征提取网络．

分析深层网络中含有Ｉｎｃｅｐｔｉｏｎ结构的部分，由于

Ｉｎｃｅｐｔｉｏｎ结构都是一样的，文中只分析第一个Ｉｎ

ｃｅｐｔｉｏｎ结构部分，其他部分同理．每一个Ｉｎｃｅｐｔｉｏｎ

结构分为４个分支，采用不同尺度的卷积核来进行

处理第一个分支为１１的卷积核，然后进行ＥＬＵ

操作．第二个分支为１１的卷积核，它作为３３

卷积核之前的降维，进行ＥＬＵ操作，再进行３３

的卷积，其填充宽度为１，进行ＥＬＵ操作．第三个分

支为１１的卷积核，它作为５５卷积核之前的降

维，进行ＥＬＵ操作，再进行５５的卷积其填充宽

度为２，进行ＥＬＵ操作．第四个分支为３３的池

化，其填充宽度为２，再进行１１的卷积，进行

ＥＬＵ操作，最后将这４个分支连接在一起．在相同

的Ｉｎｃｅｐｔｉｏｎ结构之后进行７７的平均池化层，３

个全连接层，将最后一层全连接层的参数设置为该

实验所需要的１１，连接ｓｏｆｔｍａｘ分类器进行分类．

３ 实验方法与结果分析

实验采用搭载了ｗｉｎ１０操作系统的６４位笔记

本电脑，处理器为Ｉｎｔｅｌｉ５－１０２１０Ｕ＠２１ＧＨｚ，

ＧＰＵ为ＮＶＩＤＩＡＧｅＦｏｒｃｅＭＸ３５０，运行内存为１６Ｇ，

操作软件为ＭＡＴＬＡＢ２０２０Ａ．

３１ 训练集与测试集比例的选择

训练集与测试集的选择是影响最终识别准确

率的重要因素（表１）．训练集占比过高可能导致过

拟合现象，测试集占比过高会导致由于训练集数据

量致使模型欠拟合．

表１ 训练集与测试集比例对准确率的影响

Ｔａｂｌｅ１ Ｉｍｐａｃｔｏｆｔｈｅｒａｔｉｏｏｆｔｒａｉｎｉｎｇｓｅｔ

ｔｏｔｅｓｔｓｅｔｏｎａｃｃｕｒａｃｙ

训练集∶测试集准确率／％

９∶１９０８８

８∶２９０４１

７∶３９０５８

６∶４８９８９

５∶５８８４２

从表１可以看出：当训练集与测试集比例为

９∶１时其准确率最高，但是训练集比例大，测试集

比例小导致训练的图像过多，用来进行测试的图像

数量过少，不具有普遍代表性．所以选择训练集与

测试集比例为７∶３，作为实验的最终选择．

３２ 归一化层的选择

神经网络学习过程的本质就是为了学习数据

分布，如果没有做归一化处理，那么每一批次训练

数据的分布不一样，从大的方向上看，神经网络需

要在这多个分布中找到平衡点，从小的方向上看，

由于每层网络输入数据分布在不断变化，这也会导

致每层网络都在寻找平衡点，显然，神经网络就很

难收敛了，所以需要在神经网络的中间层加入归一

化处理．

３２１ 批量归一化层（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ，ＢＮ）

ＢＮ是优化深度神经网络中最激动人心的最新

创新之一［１３］．大量数据表明，ＢＮ在ＣＮＮ上改进效

果很显著，具有加快模型收敛速度，增强模型泛化

能力的优点，但同时也存在一些缺点，如：对于有些

像素级图片的生成任务来说，ＢＮ效果不佳；对于

图片分类等任务，只要能够找出关键特征，就能正

确分类，这算是一种粗力度的任务，因为在Ｍｉｎｉ－

Ｂａｔｃｈ内多张无关的图片之间计算统计量，弱化了

单张图片本身特有的一些细节信息．

３２２ 通道归一化层（ｃｈａｎｎｅｌｗｉｓｅｎｏｒｍａｌｉｚａｔｉｏｎ，

ＣＮ）

文中使用了更细力度的归一化方法，ｃｈａｎｎｅｌ

ｗｉｓｅｎｏｒｍａｌｉｚａｔｉｏｎ（ｃｈａｎｎｅｌｎｏｒｍ）［１４］，该方法在每

层的ｃｈａｎｎｅｌ维度上，使用最大的激活值对权值进

行归一化，其公式为：

槇

ｗｌ

ｉ，ｊ

＝ｗｌ

ｉ，ｊ

ｌ－１

ｉ

ｌ

ｊ

（１）

ｌ

ｊ

＝ｍａｘ（Ａｌ

ｊ

）（２）

槇

ｂｌ

ｊ

＝

ｂｌ

ｊ

ｌ

ｊ

（３）

４５

江苏科技大学学报（自然科学版）２０２１年

式中：ｉ和ｊ为维度下标；ｌ为层数；ｗ为权值；ｂ为偏

差；Ａ为激活矩阵ｌ层权值ｗ通过在每个ｃｈａｎｎｅｌ

使用最大激活值

ｌ

ｊ

进行归一化，该值依然是从训

练集计算的．对于非首层中，归一化的激活值必须

乘上

ｌ－１

ｉ

来将输入还原为上一层归一化前的值，

再进行本层的归一化，不然传递的信息会越来越

小．ｃｈａｎｎｅｌｗｉｓｅｎｏｒｍａｌｉｚａｔｉｏｎ的归一化方法能够消

除激活值过小的问题，即得到更高但合适的发射频

率，从而更准确地传递信息．图３和表２中给出归

一化方法对训练过程的影响，可以看出，使用ＢＮ

归一化层和ＣＮ归一化层之后训练集准确率都达

到１００％，说明了这两种归一化方法真实有效．使

用ＢＮ归一化层之后其验证集准确率提升了

１９７％，而使用ＣＮ归一化层之后其验证集准确率

提升了２０３％，因此文中选择使用ＣＮ归一化层．

图３ 归一化层对于准确率的影响

Ｆｉｇ．３ Ｅｆｆｅｃｔｏｆｎｏｒｍａｌｉｚａｔｉｏｎｌａｙｅｒｏｎａｃｃｕｒａｃｙ

表２ 使用不同归一化层对准确率的影响

Ｔａｂｌｅ２ Ｅｆｆｅｃｔｏｆｕｓｉｎｇｄｉｆｆｅｒｅｎｔｎｏｒｍａｌｉｚａｔｉｏｎ

ｌａｙｅｒｓｏｎａｃｃｕｒａｃｙ

归一化层的选择训练集准确率／％验证集准确率／％

未加入归一化层９６８８９０５８

使用ＢＮ归一化层１００９２５５

使用ＣＮ归一化层１００９２６１

３３ 学习率的选择

学习率的选择是本实验中的重点问题之一，选

取一个好的学习率可以使训练过程高效准确，因此

使用了Ａｄａｍ优化器．

Ａｄａｍ优化器［１５］是一种结合了ＡｄａＧｒａｄ和

ＲＭＳＰｒｏｐ两种优化算法的优点的自适应调节学习

率的优化器．ＡｄａＧｒａｄ能够对每个不同的参数调整

不同的学习率，对频繁变化的参数以更小的步长进

行更新，而稀疏的参数以更大的步长进行更新［１６］．

ＲＭＳＰｒｏｐ算法结合梯度平方的指数移动平均数来

调节学习率的变化，能够在不稳定的目标函数情况

下进行很好地收敛［１７］．Ａｄａｍ优化器主要包含以下

几个显著的优点：实现简单，计算高效，对内存需求

少，参数的更新不受梯度的伸缩变换影响，超参数

具有很好的解释性，且通常无需调整．通常设置参

数为

１

＝０．９，

２

＝０．９９９，

＝１０－８，

＝００００１［１５］．

其公式如下：

ｇ

ｔ

＝



ｆ＋

ｔ－１

（４）

ｍ

ｔ

＝

１

ｍ

ｔ－１

＋（１－

１

）ｇ

ｔ

（５）

ｖ

ｔ

＝

２

ｖ

ｔ－１

＋（１－

２

）ｇ２

ｔ

（６）

ｍ

＾

ｔ

＝ｍ

ｔ

／（１－

ｔ

１

）（７）

ｖ

＾

ｔ

＝ｖ

ｔ

／（１－

ｔ

２

）（８）

ｔ

＝

ｔ－１

－

ｍ

＾

ｔ

／ｖ

＾

ｔ

＋槡

（９）

式中：



ｆ为被优化函数ｆ关于Ｑ的梯度值；

１

为

指数衰减率，控制动量与当前梯度的权重分配，默

认为０９；

２

为指数衰减率，控制之前的梯度平方

的影响情况，类似于ＲＭＳＰｒｏｐ算法对梯度的平方

进行加权均值，默认为０９９９；ｇ

ｔ

为梯度；ｍ

ｔ

为一阶

矩的估计；ｖ

ｔ

为二阶矩；ｍ

＾

ｔ

和ｖ

＾

ｔ

是对ｍ

ｔ

和ｖ

ｔ

的校

正；

ｔ

为梯度下降，梯度由一阶矩和二阶矩的估

计［１８］．

从表３和图４看出，在未使用Ａｄａｍ优化器时，

最优学习率

＝０００１，这时验证集准确率为

９３０９％，采用Ａｄａｍ优化器之后验证集准确率能达

到９４１８％，提升了１０９％．因此，Ａｄａｍ优化器适合

文中训练模型，且对准确率有一定的改进效果．

表３ 使用不同学习率对准确率的影响

Ｔａｂｌｅ３ Ｅｆｆｅｃｔｏｆｕｓｉｎｇｄｉｆｆｅｒｅｎｔ

ｌｅａｒｎｉｎｇｒａｔｅｓｏｎａｃｃｕｒａｃｙ

学习率训练集准确率／％验证集准确率／％

＝００００１１００９２６１

＝０００１１００９３０９

＝００１１００９２３４

Ａｄａｍ优化器１００９４１８

图４ 使用Ａｄａｍ优化器对准确率的影响

Ｆｉｇ．４ ＥｆｆｅｃｔｏｆｕｓｉｎｇＡｄａｍｏｐｔｉｍｉｚｅｒｏｎａｃｃｕｒａｃｙ

３４ 激活函数的选择

在基本神经网络中，通常使用的激活函数为

５５第２期 宋纯贺，等：一种基于改进ＧｏｏｇＬｅＮｅｔ的油井故障识别方法

Ｓｉｇｍｏｉｄ函数或者ｔａｎｈ函数．但由于其容易产生梯度

爆炸和梯度消失等问题，逐渐被ＲｅＬｕ函数及其改进

函数所替代，例如ＥＬＵ函数、ＬｅａｋｙＲｅＬｕ函数等．

３４１ ＲｅＬｕ激活函数

ＲｅＬｕ激活函数的公式为：

ＲｅＬｕ＝ｍａｘ（０，ｘ）（１０）

可以看到，ＲｅＬｕ函数是一个在特定区间取最

大值的函数［１９］，其收敛速度远快于Ｓｉｇｍｏｉｄ函数和

ｔａｎｈ函数，而且计算速度快．

３４２ ＥＬＵ激活函数

ＥＬＵ激活函数的公式为：

ｆ（ｘ）＝

ｘ ｉｆｘ＞０

（ｅｘ－１）{其他

（１１）

ＥＬＵ激活函数是一种修正类的激活函数，当

其输入值大于０时，其处理方式类似于ＲｅＬｕ激活

函数；但是当输入值小于０时，ＥＬＵ激活函数输出

为接近于０的负值安全行车心得体会 ，只需要极少的运算量，使计算

速度相比于ＲｅＬｕ激活函数更快，且这部分输出具

有一定的抗干扰能力，从而可以消除ＲｅＬｕ激活函

数导致网络“死掉”的问题．

３４３ ＲｅＬｕ＋ＥＬＵ激活函数

文中将ＲｅＬｕ激活函数应用在ＧｏｏｇＬｅＮｅｔ模型

的浅层网络结构，再将ＥＬＵ激活函数应用在

ＧｏｏｇＬｅＮｅｔ模型的深层网络结构．

从表４可以看出，采用Ｓｉｇｍｏ个人租房合同协议书 ｉｄ和ｔａｎｈ作为激

活函数时，识别的准确率最低，并且运行时间最长．

而其他的激活函数，如ＲｅＬｕ、ＥＬＵ、ｓｏｆｔｐｌｕｓ、

ｌｅａｋｙＲｅｌｕ，都在一定程度上提升了准确率．在组合方

案中，在准确率方面，ＲｅＬｕ＋ＥＬＵ＞ＲｅＬｕ＋ｓｏｆｔｐｌｕｓ＞

ＲｅＬｕ＋ｌｅａｋｙＲｅｌｕ，而在训练时间方面，ＲｅＬｕ＋

ｌｅａｋｙＲｅｌｕ＜ＲｅＬｕ＋ＥＬＵ＜ＲｅＬｕ＋ｓｏｆｔｐｌｕｓ．综合考虑

准确度和总运行时间，文中选择ＲｅＬｕ＋ＥＬＵ作为

激活函数．

表４ 使用不同激活函数对准确率和运行时间的影响

Ｔａｂｌｅ４ Ｅｆｆｅｃｔｏｆｕｓｉｎｇｄｉｆｆｅｒｅｎｔａｃｔｉｖａｔｉｏｎｆｕｎｃｔｉｏｎｓ

ｏｎａｃｃｕｒａｃｙａｎｄｒｕｎｎｉｎｇｔｉｍｅ

方案

训练集

准确率／％

验证集

准确率／％

总运行

时间／ｍｉｎ

ＲｅＬｕ１００９４１８６０５３

Ｔａｎｈ９４１２８３３２６２３３

Ｓｉｇｍｏｉｄ９０１１８０９８６５４７

ＥＬＵ１００９４７８４２０１

ｓｏｆｔｐｌｕｓ１００９４０８４３１１

ｌｅａｋｙＲｅｌｕ１００９４６１５５３４

ＲｅＬｕ＋Ｅｌｕ１００９５０７２７３２

ＲｅＬｕ＋ｓｏｆｔｐｌｕｓ１００９４英语阅读文章 ９５３１２７

ＲｅＬｕ＋ｌｅａｋｙＲｅｌｕ１００９２１３２０３７

３５ 网络层数的增加与修改

３５１ 改变全连接层数

在ＧｏｏｇＬｅＮｅｔ网络结构中，经多个卷积层和激

活层后，连接着１个或１个以上的全连接层．全连

接层中的每个神经元与其前一层的所有神经元进

行全连接．全连接层可以整合卷积层或者池化层中

具有类别区分性的局部信息，适当增加全连接层的

层数，会提升模型的准确率．

从表５可以看出全连接层的层数进行适当地

增加确实可以增强识别的准确率，但是不建议全连

接层的层数超过４层．单纯的增加全连接的层数不

一定会增强识别的准确率，有的时候可能会导致相

反的情况出现，还会使得训练时间变长．

表５ 全连接层层数对准确率的影响

Ｔａｂｌｅ５ Ｅｆｆｅｃｔｏｆｔｈｅｎｕｍｂｅｒｏｆｆｕｌｌｙ

ｃｏｎｎｅｃｔｅｄｌａｙｅｒｓｏｎａｃｃｕｒａｃｙ

全连接层层数训练集准确率／％验证集准确率／％

一层全连接１００９５０７

二层全连接１００９５６４

三层全连接１００９５７９

３５２ 加入Ｄｒｏｐｏｕｔ层

当网络结构过于复杂且数据量又比较少的时

候，会出现过拟合现象．Ｄｒｏｐｏｕｔ层的直接作用是减

少中间特征的数量，从而减少冗余，即增加每层各个

特征之间的正交性．在神经网络训练每次迭代过程

中，Ｄｒｏｐｏｕｔ层随机扔掉一些神经元．该神经元对应

的权重即保持上一步不变，其他的权重即更新，消除

减弱了神经元节点间的联合适应性，增强了泛化能

力，这样就可以避免局部最优和过拟合等问题［２０］．

从表６可以看出加入Ｄｒｏｐｏｕｔ层对准确率有着

一定程度地提升，避免过拟合现象和陷入局部最优

的问题．改进Ｄｒｏｐｏｕｔ层丢弃神经元的比例也对结

果有着一定的影响，一般选择隐含节点Ｄｒｏｐｏｕｔ率

等于０４～０６，但经过交叉验证，隐含节点Ｄｒｏｐｏｕｔ

率等于０５的时候效果最好，原因是０５的时候

Ｄｒｏｐｏｕｔ随机生成的网络结构最多．

表６ 加入并改变Ｄｒｏｐｏｕｔ层比例对准确率的影响

Ｔａｂｌｅ６ Ｅｆｅｃｔｏｆａｄｄｉｎｇａｎｄｃｈａｎｇｉｎｇｔｈｅｒａｔｉｏｏｆ

ｔｈｅＤｒｏｐｏｕｔｌａｙｅｒｏｎａｃｃｕｒａｃｙ

Ｄｒｏｐｏｕｔ层训练集准确率／％验证集准确率／％

无Ｄｒｏｐｏｕｔ１００９５５９

Ｄｒｏｐｏｕｔ＝０４１００９５７９

Ｄｒｏｐｏｕｔ＝０５１００９６０５

Ｄｒｏｐｏｕｔ＝０６１００９５７６

Ｄｒｏｐｏｕｔ＝０８１００９５７０

６５

江苏科技大学学报（自然科学版）２０２１年

３６ 结果分析

使用多种不同的网络结构模型进行对比实验，

包括：ＬｅＮｅｔ，ＤａｒｋＮｅｔ－１９，ＲｅｓＮｅｔ－１８，ＤｅｎｓｅＮｅｔ－

２０１，ＭｏｂｉｌｅＮｅｔ，ＳｑｕｅｅｚｅＮｅｔ，Ｓｈｕｆｆｌｅｎｔ，ＶＧＧ－１６，

ＧｏｏｇＬｅＮｅｔ，其迭代次数统一设定为５００次．从表７

可以看出ＤｅｎｓｅＮｅｔ－２０１网络结构最复杂，是所有

网络结构模型中层数最多的，达到了２０１层，但是其

识别效果并不好，这说明了不是网络的层数越深，识

别的准确率就越高．对比ＭｏｂｉｌｅＮｅｔ，ＳｑｕｅｅｚｅＮｅｔ，

Ｓｈｕｆｆｌｅｎｔ这３种轻量级网络结构模型，其运行时间

都要短于其他网络结构，但是准确率不达标所以不

予考虑．在对比ＧｏｏｇＬｅＮｅｔ，ＬｅＮｅｔ，ＤａｒｋＮｅｔ－１９，Ｒｅｓ

Ｎｅｔ－１８这４种经典的网络结构模型中，可以看出

ＧｏｏｇＬｅＮｅｔ网络结构模型其个方面性能都要更优越，

所以选择ＧｏｏｇＬｅＮｅｔ网络结构模型作为本实验的基

础，通过对原始ＧｏｏｇＬｅＮｅｔ网络结构模型的改进得

出的改进ＧｏｏｇＬｅＮｅｔ网络结构模型无论从准确率，

还是运行时间都要明显好于其他网络结构模型．在

油井功图故障识别问题上，文中网络模型具有高效

率，高准确率等优点，避免了由于人工识别功图故障

容易产生误判的问题，同时也避免了因为不能及时

识别油井故障而造成的经济损失．

表７ 不同网络结构对准确率的影响

Ｔａｂｌｅ７ ＴｈｅｉｍｐａｃｔｏｆｄｉｆｆｅｒｅｎｔＮｅｔｗｏｒｋ

ｓｔｒｕｃｔｕｒｅｓｏｎａｃｃｕｒａｃｙ

网络结构

训练集

准确率／％

验证集

准确率／％

运行

时间／ｍｉｎ

ＬｅＮｅｔ７３１２５０１２２２５３

ＤａｒｋＮｅｔ－１９９１１２８８３２５６３３

ＲｅｓＮｅｔ－１８９０１１８６９８５４４７

ＤｅｎｓｅＮｅｔ９８１２９００１１６７８９

ＭｏｂｉｌｅＮｅｔ９０１６８９０８３１１１

ＳｑｕｅｅｚｅＮｅｔ９３１２９０５５３０３４

Ｓｈｕｆｆｌｅｎｔ９５１２８７０７３０１４

ＶＧＧ－１６１００８９９３５２１９

ＧｏｏｇＬｅＮｅｔ１００９０５８６０５３

改进的ＧｏｏｇＬｅＮｅｔ１００９６０５２７３２

４ 结论

针对抽油井故障类型识别问题，使用改进的

ＧｏｏｇＬｅＮｅｔ网络结构，结论如下：

（１）在原始ＧｏｏｇＬｅＮｅｔ网络结构中加入ＣＮ归

一化层，使其识别准确率提升２０３％．

（２）使用Ａｄａｍ优化器自适应调整学习率，使

其准确率提升１５７％．

（３）将ＲｅＬｕ和ＥＬＵ激活函数混合使用，从大

幅提升训练时间，速度提高了１２２％，准确率提升

０８９％．

（４）改进网络层数：加入三层全连接层，加入

Ｄｒｏｐｏｕｔ层（Ｄｒｏｐｏｕｔ率为０５），准确率提升

０４６％．

改进后的ＧｏｏｇＬｅＮｅｔ网络结构识别准确率达

到了９６０５％，运行时间达到了２７３２ｍｉｎ．可以看

出改进的ＧｏｏｇＬｅＮｅｔ网络结构具有更加高效，准确

的优点，且具有更好的鲁棒性．在抽油井故障诊断

问题中给出了一个实用的解决方法．

参考文献（Ｒｅｆｅｒｅｎｃｅｓ）

［１］ 侯延彬，陈炳均，高宪文．基于ＧＭ－ＥＬＭ的有杆

泵抽油井故障诊断［Ｊ］．东北大学学报（自然科学

版），２０１９，４０（１２）：１６７３－１６７８．ＤＯＩ：１０．１２０６８／ｊ．

ｉｓｓｎ．１００５－３０２６．２０１９．１２．００１．

ＨＯＵＹａｎｂｉｎ，ＣＨＥＮＢｉｎｇｊｕｎ，ＧＡＯＸｉａｎｗｅｎ．Ｆａｕｌｔ

ｄｉａｇｎｏｓｉｓｏｆｓｕｃｋｅｒｒｏｄｐｕｍｐｉｎｇｗｅｌｌｓｂａｓｅｄｏｎＧＭ－

ＥＬＭ［Ｊ］．ＪｏｕｒｎａｌｏｆＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ

Ｓｃｉｅｎｃｅ）２０１９，４０（１２）：１６７３－１６７８．ＤＯＩ：１０．

１２０６８／ｊ．ｉｓｓｎ．１００５－３０２６．２０１９．１２．００１．（ｉｎＣｈｉ

ｎｅｓｅ）

［２］ 李晓亮．基于自适应ＵＫＦ－ＲＢＦ神经网络的抽油机

故障诊断研究［Ｄ］．重庆：重庆科技学院，２０１８．

［３］ 于德亮，刘冬，孙浩，等．基于ＰＳＯ－ＥＬＭ模型的潜

油柱塞泵冲次优化方法［

Ｊ］．信息与控制，２０１９，４８

（４）：４５９－４６８．ＤＯＩ：１０．１３９７６／ｊ．ｃｎｋｉ．ｘｋ．２０１９．

８４６２．

ＹＵＤｅｌｉａｎｇ，ＬＩＵＤｏｎｇ，ＳＵＮＨａｏ，ｅｔａｌ．Ｓｕｂｍｅｒｓｉｂｌｅ

ｏｉｌｐｌｕｎｇｅｒｐｕｍｐｉｍｐｕｌｓｅｏｐｔｉｍｉｚａｔｉｏｎｓｔｕｄｙｂａｓｅｄｏｎ

ＰＳＯ－ＥＬＭｍｏｄｅｌ［Ｊ］．ＩｎｆｏｒｍａｔｉｏｎａｎｄＣｏｎｔｒｏｌ，２０１９，

４８（４）：４５９－４６８．ＤＯＩ：１０．１３９７６／ｊ．ｃｎｋｉ．ｘｋ．２０１９．

８４６２．（ｉｎＣｈｉｎｅｓｅ）

［４］ 刘志刚，许少华，李盼池，等．基于极限学习离散过

程神经网络的示功图识别［Ｊ］．信息与控制，２０１６，

４５（５）：６２７－６３３．ＤＯＩ：１０．１３９７６／ｊ．ｃｎｋｉ．ｘｋ．２０１６．

０６２７．

ＬＩＵＺｈｉｇａｎｇ，ＸＵＳｈａｏｈｕａ，ＬＩＰａｎｃｈｉ，ｅｔａｌ．Ｉｎｄｉｃａｔｏｒ

ｄｉａｇｒａｍｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｄｉｓｃｒｅｔｅ

ｐｒｏｃｅｓｓｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｊ］．ＩｎｆｏｒｍａｔｉｏｎａｎｄＣｏｎｔｒｏｌ，

２０１６，４５（５）：６２７－６３３．ＤＯＩ：１０．１３９７６／ｊ．ｃｎｋｉ．ｘｋ．

２０１６．０６２７．（ｉｎＣｈｉｎｅｓｅ）

［

５］ 王兵，许少华，孟耀华．基于半监督竞争学习过程神

经网络的抽油机故障诊断［Ｊ］．信息与控制，２０１４，

４３（２）：２３５－２４０．ＤＯＩ：１０．３７２４／ＳＰ．Ｊ．１２１９．２０１４．

００２３５．

ＷＡＮＧＢｉｎｇ，ＸＵＳｈａｏｈｕａ，ＭＥＮＧＹａｏｈｕａ．Ｆａ极限误差 ｕｌｔｄｉａｇ

ｎｏｓｉｓｏｆｐｕｍｐｉｎｇｕｎｉｔｂａｓｅｄｏｎｓｅｍｉｓｕｐｅｒｖｉｓｅｄｃｏｍ

ｐｅｔｉｔｉｖｅｌｅａｒｎｉｎｇｐｒｏｃｅｓｓｎｅｕｒａｌｎｅｔｗｏｒｋ［Ｊ］．Ｉｎｆｏｒｍａ

７５第２期 宋纯贺，等：一种基于改进ＧｏｏｇＬｅＮｅｔ的油井故障识别方法

ｔｉｏｎａｎｄＣｏｎｔｒｏｌ，２０１４，４３（２）：２３５－２４０．ＤＯＩ：１０．

３７２４／ＳＰ．Ｊ．１２１９．２０１４．００２３５．（ｉｎＣｈｉｎｅｓｅ）

［６］ 张荣，李伟平，莫同．深度学习研究综述［Ｊ］．信息与

控制，２０１８，４７（４）：３８５－３９７，４１０．ＤＯＩ：１０．１３９７６／ｊ．

ｃｎｋｉ．ｘｋ．２０１８．８０９１．

ＺＨＡＮＧＲｏｎｇ，ＬＩＷｅｉｐｉｎｇ，ＭＯＴｏｎｇ．Ｒｅｖｉｅｗｏｆｄｅｅｐ

ｌｅａｒｎｉｎｇ［Ｊ］．人生的说说 ＩｎｆｏｒｍａｔｉｏｎａｎｄＣｏｎｔｒｏｌ，２０１８，４７（４）：

３８５－３９７，４１０．ＤＯＩ：１０．１３９７６／ｊ．ｃｎｋｉ．ｘｋ．２０１８．

８０９１．（ｉｎＣｈｉｎｅｓｅ）

［７］ 全红艳，王长波，林俊隽．基于视觉的增强现实技术

研究综述［Ｊ］．机器人，２００８，３０（４）：３７９－３８４．ＤＯＩ：

１０．３３２１／ｊ．ｉｓｓｎ：１００２－０４４６．２００８．０４．０１４．

ＱＵＡＮＹａｎｈｏｎｇ，ＷＡＮＧＣｈａｎｇｂｏ，ＬＩＮＹｏｎｇｊｕｎ．Ｓｕｒ

ｖｅｙｏｆｖｉｓｉｏｎｂａｓｅｄａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙｔｅｃｈｎｏｌｏｇｉｅｓ［Ｊ］．

Ｒｏｂｏｔ，２００８，３０（４）：３７９－３８４．ＤＯＩ：１０．３３２１／ｊ．

ｉｓｓｎ：１００２－０４４６．２００８．０４．０１４．（ｉｎＣｈｉｎｅｓｅ）

［８］ 王卫东，郑宇杰，杨静宇．智能分类器方法［Ｊ］．江苏

科技大学学报（自然科学版），２００７，２１（１）：４２－４７．

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３－４８０７．２００７．０１．０１０．

ＷＡＮＧＷｅｉｄｏｎｇ，ＺＨＥＮＧＹｕｊｉｅ，ＹＡＮＧＪｉｎｇｙｕ．Ｉｎ

ｔｅｌｌｉｇｅｎｃｅｃｌａｓｓｉｆｉｅｒｍｅｔｈｏｄ［Ｊ］．ＪｏｕｒｎａｌｏｆＪｉａｎｇｓｕＵ

ｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ

Ｅｄｉｔｉｏｎ），２００７，２１（１）：４２－４７．ＤＯＩ：１０．３９６９／ｊ．

ｉｓｓｎ．１６７３－４８０７．２００７．０１．０１０．（ｉｎＣｈｉｎｅｓｅ）

［９］ 程实，陈晓勇，沐燕舟，等．嵌入式人脸检测摄像机

的开发与应用研究［Ｊ］．江苏科技大学学报（自然科

学版），２０１７，３１（６）：７８１－７８６．ＤＯＩ：１０．３９６９／ｊ．

ｉｓｓｎ．１６７３－４８０７．２０１７．０６．０１６．

ＣＨＥＮＧＳｈｉ，ＣＨＥＮＸｉａｏｙｏｎｇ，ＭＵＹａｎｚｈｏｕ，ｅｔａｌ．

Ｒｅｓｅａｒｃｈｏｎｄｅｖｅｌｏｐｍｅｎｔａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｅｍｂｅｄｄｅｄ

ｆａｃｅｄｅｔｅｃｔｉｏｎｃａｍｅｒａｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＪｉａｎｇｓｕＵｎｉｖｅｒ

ｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉ

ｔｉｏｎ），２０１７，３１（６）：７８１－７８６．ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．

１６７３－４８０７．２０１７．０６．０１６．（ｉｎＣｈｉｎｅｓｅ）

［１０］ ＬＥＣＵＮＹ，ＢＯＴＴＯＵＬ，ＢＥＮＧＩＯＹ．Ｒｅａｄｉｎｇｃｈｅｃｋｓ

ｗｉｔｈｍｕｉｔｉｌａｙｅｒｇｒａｐｈｔｒａｎｓｆｏｒｍｅｒｎｅｔｗｏｒｋｓ［Ｃ］

∥

Ｐｒｏ

ｃｅｅｄｉｎｇｓｏｆｔｈｅ１９９７ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ

Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ′

９７）．ＮＷＷａｓｈｉｎｇｔｏｎ，ＤＣ，ＵｎｉｔｅｄＳｔａｔｅｓ：ＩＥＥＥ，

１９９７，１：１５ｌ－１５４．

［１１］ ＬＯＮＧＪ，ＳＨＥＬＨＡＭＥＲＥ，ＤＡＲＲＥＬＬＴ．Ｆｕｌｌｙｃｏｎｖ

ｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ［Ｊ］．

ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅ

Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０１５，３９（４）：３４３１－３４４０．ＤＯＩ：１０．

１１０９／ＣＶＰＲ．２０１５．７２９８９６５．

［１２］ ＳＺＥＧＥＤＹＣｈｒｉｓｔｉａｎ，ＬＩＵＷｅｉ，ＪＩＡＹａｎｇｑｉｎｇ，ｅｔａｌ．

Ｇｏｉｎｇｄｅｅｐｅｒｗｉｔｈｃｏｎｖｏｌｕｔｉｏｎｓ［Ｃ］

∥

２０１５ＩＥＥＥＣｏｎ

ｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ

（ＣＶＰＲ）．Ｂｏｓｔｏｎ，ＭＡ，ＵＳＡ：ＩＥＥＥ，２０１５：１－９．

ＤＯＩ：１０．１１０９／ＣＶＰＲ．２０１５．７２９８５９４．

［１３］ ＨＵＡＮＧＬ，ＹＡＮＧＤ，ＬＡＮＧＢ，ｅｔａｌ．Ｄｅｃｏｒｒｅｌａｔｅｄ

ｂａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎ［Ｃ］

∥

２０１８ＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅ

ｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．ＳａｌｔＬａｋｅ

Ｃｉｔｙ，ＵＴ，ＵＳＡ：ＩＥＥＥ，２０１８：７９１－８００．ＤＯＩ：１０．

１１０９／ＣＶＰＲ．２０１８．０００８９．

［１４］ ＫＩＭＳｅｉｊｏｏｎ，ＰＡＲＫＳｅｏｎｇｓｉｋ，ＮＡＢｙｕｎｇｇｏｏｋ．Ｓｐｉ

ｋｉｎｇ－ＹＯＬＯ：ｓｐｉｋｉｎｇｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｅｎｅｒｇｙｅｆｆｉ

ｃｉｅｎｔｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ［Ｃ］

∥

ＡＡＡＩＴｅｃｈｎｉｃａｌＴｒａｃｋ：

Ｖｉｓｉｏｎ，２０２０，３４（７）：９３８－９５１．ＤＯＩ：１０．１６０９／ａａａｉ．

ｖ３４ｉ０７．６７８７．

［１５］ ＹＩＤ，ＡＨＮＪ，ＪＩＳ．Ａｎｅｆｆｅｃｔｉｖｅｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄ

ｆｏｒｍａｃｈｉｎｅｌｅａｒｎｉｎｇｂａｓｅｄｏｎＡＤＡＭ［Ｊ］．Ａｐｐｌｉｅｄ

Ｓｃｉｅｎｃｅｓ，２０２０，１０（３）：１０７３．ＤＯＩ：１０．３３９０／

ａｐｐ１００３１０７３．

［１６］ ＤＵＣＨＩＪ，ＨＡＺＡＮＥ，ＳＩＮＧＥＲＹ．Ａｄａｐｔｉｖｅｓｕｂｇｒａｄｉ

ｅｎｔｍｅｔｈｏｄｓｆｏｒｏｎｌｉｎｅｌｅａｒｎｉｎｇａｎｄｓｔｏｃｈａｓｔｉｃｏｐｔｉｍｉｚａ

ｔｉｏｎ［Ｊ］．ＪｏｕｒｎａｌｏｆＭａｃｈｉｎｅＬｅａｒｎｉｎｇＲｅｓｅａｒｃｈ，

２０１１，１２（７）：２１２１－２１５９．ＤＯＩ：１０．１１０９／ＴＮＮ．

２０１１．２１４６７８８．

［１７］ ＺＯＵＦ，ＳＨＥＮＬ，ＪＩＥＺ，ｅｔａｌ．Ａｓｕｆｆｉｃｉｅｎｔｃｏｎｄｉｔｉｏｎ

ｆｏｒｃｏｎｖｅｒｇｅｎｃｅｓｏｆａｄａｍａｎｄｒｍｓｐｒｏｐ［Ｃ］

∥

２０１９

ＩＥＥＥ／ＣＶＦＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ

Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）．ＬｏｎｇＢｅａｃｈ，ＣＡ，ＵＳＡ：ＩＥＥＥ，

２０１９：１１１２７－１１１３５．ＤＯＩ：１０．１１０９／ＣＶＰＲ．２０１９．

０１１３８．

［１８］ 高子翔．基于多尺度池化的卷积神经网络图像分类

方法研究［Ｄ］．包头：内蒙古科技大学，２０１９．

［１９］ ＳＨＡＭＩＲＯ．Ｄｉｓｃｕｓｓｉｏｎｏｆ：＂Ｎｏｎｐａｒａｍｅｔｒｉｃｒｅｇｒｅｓｓｉｏｎ

ｕｓｉｎｇｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓｗｉｔｈＲｅＬＵａｃｔｉｖａｔｉｏｎｆｕｎｃ

ｔｉｏｎ＂［Ｊ］．ＴｈｅＡｎｎａｌｓｏｆＳｔａｔｉｓｔｉｃｓ，４８（４）：１９１１－

１９１５．ＤＯＩ：１０．１２１４／１９－ＡＯＳ１９１５．

［２０］ 韩梦娇．基于选择性区域丢弃的ｄｒｏｐｏｕｔ方法研究

与实现［Ｄ］．成都：电子科技大学，２０２０．

（责任编辑：曹莉）

８５

江苏科技大学学报（自然科学版）２０２１年