卷积神经网络综述
作者：马世拓 班一杰 戴陈至力
来源：《现代信息科技》2021年第02期
摘 要：近年来随着深度学习的发展，图像识别与分类问题取得了飞速进展。而在深度学习的研究领域中，卷积神经网络被广泛应用于图像识别。文章对前人在卷积神经网络领域的研究成果进行了梳理与总结。首先介绍了深度学习的发展背景，然后介绍了一些常见卷积网络的模型，并对其中的微网络结构进行简述，最后对卷积神经网络的发展趋势与特点进行分析与总结。在未来的研究中，卷积神经网络仍将作为深度学习的一种重要模型得到进一步发展。
关键词：深度学习;卷积神经网络;微网络
中图分类号：TP301.6 文献标识码：A 文章编号：2096-4706（2021）02-0011-05
Abstract：In recent years，with the development of deep learning，image recognition and classification problems have made rapid progress. In the field of deep learning，convolutional neural network is widely ud in image recognition. In this paper，the previous rearch results in the field of convolutional neural network are combed and summarized. Firstly，it will introduce the development background of deep learning，and then introduce some common convolutional network models，and briefly d
escribes the micro network structure. Finally，it will analyze and summarize the development trend and characteristics of convolutional neural network. In the future rearch，convolutional neural network will be further developed as an important model of deep learning.
Keywords：deep learning;convolutional neural network;micro network
0 引 言
近年来深度学习研究大热，而卷积神经网络作为其中一种重要模型，梳理其发展脉络对于其研究和发展具有重大意义。以校级“大创”项目“‘以词搜图’检索系统”中对卷积神经网络的学习与研究历程为出發点，本文旨在梳理卷积神经网络的发展脉络，并对卷积神经网络的发展趋势做简要总结。
1 人工神经网络的背景
1.1 深度学习
深度学习最早其实可以追溯到感知神经元被提出的时期，随后经历了几次研究浪潮，并于近年不断受到研究者的青睐。深度学习以多层神经网络与后向传播算法为基础，在计算机视觉、自然语言处理、语音识别等领域有广泛应用。神经网络是一种具有多层次的模型，将原始数据经过各不同模块逐渐抽象，但保留源数据的主要特征。经过神经网络的不断抽象，理论上它可以拟合任意一个复杂函数[1]。
图1为一个神经网络的结构，分为输入层（Input units）、隐藏层（Hidden units）和输出层（Output units）。其中，Hidden units H1表示第一隐藏层，Hidden units H2表示第二隐层。
1.2 后向传播算法
1986年Hinton等人提出了误差后向传播（BackPro-pagation）算法[2]使得跌入低谷的神经网络研究再一次被人重新发掘。本质上讲，目标函数的梯度在多层神经网络中的后向传播过程是微积分中链式求导法则的实际应用。这一算法用于神经网络各层的权值更新。输入信息从输入层正向传播到输出层，计算误差的梯度便从顶部的输出层逐渐反向传播到输入层，一旦计算出了这些梯度就可以计算出对应权重。
后向传播算法也有它的局限性。比如，容易出现过拟合现象，以及梯度爆炸或梯度消失等现象，这些现象都有可能造成异常。针对这些问题，近年来不少学者都做出了探究并提出自己的解决方案。
2 卷积神经网络的发展
2.1 LeNet-5
卷积神经网络早在1989年就被提出，而Yann等人在1998年提出了卷积神经网络的第1个经典架构LeNet-5[3]。LeNet-5包含6个隐藏层，主要是靠卷积操作与池化操作堆叠来对图像特征进行抽取，并在MNIST数据集上取得了很好的效果。而这一架构的设计最早也是被应用于光学字符识别（主要是数字）。卷积这一数学操作能够很好地提取图像的空间特征;池化层的引入对特征产生了更强的抽象。并且通常使用双曲正切函数或sigmoid函数作为激活函数，处处连续可导，它最大的优点是体量小、易训练，图2为其模型图。其中，input表示输入，Flatten表示展平，将多维数组一维化以后再操作，output表示输出。
2.2 AlexNet
AlexNet是Krizhevsky和Hinton等人在2012年提出的架构，该模型在ILSVRC-2012取得了冠军的成绩[4]。该架构比LeNet-5略复杂一些，除去池化层外有5个卷积层和3个全连接层，在第1、2、5个卷积层后有池化层紧随其后。该项研究提出了一系列神经网络编写的技巧，例如使用数据增强方法扩充数据集;使用Drop-Out来减少过拟合;提出局部相应归一化（Local Respon Normalization）来增强模型的泛化能力;且使用目前常用的ReLU函数作为激活函数等。相比于LeNet-5，准确率得到了进一步提升。
2.3 VGG
VGG是SimonYan和Zisrman等在2015年提出的架构，相比于AlexNet深度更高[5]。这一架构不只是提高了在ILSVRC竞赛数据上的准确率，还能够方便地进行迁移学习应用于其它数据集。VGG的深度多为11、13、16和19，其中又以VGG-19表现最佳。这一架构的提出以及相关实验验证了一个猜想：在一定范围内适当增加卷积网络的深度可以提高网络的准确率。
2.4 Network-in-Network
Network-in-Network由新加坡国立大学的Lin等人于2014年提出，首次将若干卷积层与全连接层的组合封装为一个特殊模块，并命名为MLPConv模块[6]。这一架构在表现上比AlexNet更佳。尽管仍然只是卷积层、池化层和全连接层的堆砌，但它的重大意义在于提供了一种思想，即“微网络”，将某些层按照某种特定方式组合在一起使其模块化。也正是由于这种思想，现代的神经网络工作者们可以从过分细化的思维中跳出来，从而发现更宏观更加模块化的新结构。
2.5 Inception
Inception是Google团队在2014年的力作，并于2015重新发掘并提出了Inception-v3架构[7]。这一架构主要是解决两个目的：第一，传统的网络层堆砌达到一定深度后会发生准确率饱和的现象;第二，如何在保证准确率不降的同时使开销降低。从2.4中Network-in-Network介绍的思想出发，Google团队通过引入多个分支将不同层并联在一起，使得梯度能够通过合适的线路传递下去。并且研究者发现，使用若干小的卷积核组合比一个大的卷积核效果更好。Inception作为一种微网络，为GoogleNet的诞生打下了基础。图3为最基础的Inception结构，Previous layer接收上一层输入，convolutions进行卷积，最后的Filter concatenation对四条路径进行一个综合。
2.6 GoogleNet
GoogleNet也是Google团队于2015年在CVPR上发表的作品，该网络以Inception作为其微网络进行模型构建[8]。它在ILSVRC-2014上获得冠军，表现非凡。通过Inception的堆积增加了模型深度的同时也提高了模型的预测准确率。可以说Inception和GoogleNet的研究是第一个摆脱了“卷积层单线堆叠”这一传统的架构思维，具有重大意义，也为后续提出新的复杂微网络结构提供理论基础。GoogleNet的结构如图4所示，其中conv表示卷积，MaxPooling表示最大池化，Depth concat将进行支路的汇总。
