深度学习中⼏种常⽤的模型
最近再从事深度学习⽅⾯的⼯作，感觉还有很多东西不是很了解，各种⽹络模型的结构的由来还不是很清晰，在我看来所有的⽹络都是⼀层层的卷积像搭积⽊⼀样打起来的，由于还没实际跑所以还没很深刻感受到⼏种⽹络类型的区别，在此我想梳理⼀下⼏种常见的⽹络结构，加深⼀下理解。
本⽂转⾃此⽂，此⽂条理清晰，总结较为到位。
⽬前常见的⽹络结构：AlexNet、ZF、GoogLeNet、VGG、ResNet等等都可谓曾⼀战成名，它们都具有⾃⾝的特性，它们都提出了创新点。
LeNet
是由Yann LeCun完成的具有开拓性的卷积神经⽹络，是⼤量⽹络结构的起点。⽹络给出了卷积⽹络的基本特性：
1.局部感知。⼈对外界的认知是从局部到全局的，相邻局部的像素联系较为紧密。每个神经元没必要对全局图像进⾏感知，只需要对局部进⾏感知，然后更⾼层将局部的信息综合起来得到全局的信息。
2.多层卷积。层数越⾼，学到的特征越全局化。
3.参数共享。每个卷积都是⼀种提取特征的⽅式，⼤⼤降低了参数的数⽬。
birthday4.多卷积核。提取多类特征，更为丰富。
5.池化。降低向量维度，并避免过拟合。
特性1⾃然引出了特性2，特性3⾃然引出了特性4。
⽹络⽤于mnist⼿写体识别任务，⽹络结构⽤查看，常见⽹络：
AlexNet
2012年，深度学习崛起的元年，Alex Krizhevsky 发表了Alexet，它是⽐LeNet更深更宽的版本，并以显著优势赢得了ImageNet竞赛。贡献有：
1.使⽤RELU作为激活单元。
2.使⽤Dropout选择性忽略单个神经元，避免过拟合。
3.选择最⼤池化，避免平均池化的平均化效果。
AlexNet是⽬前应⽤极为⼴泛的⽹络，结构讲解见：。
⽹络整体上给我们带来了三个结构模块：
1、单层卷积的结构：conv-relu-LRN-pool。前⾯的卷积步长⼤，快速降低featureMap的⼤⼩（较少后⾯的计算量），后⾯深层卷积保持featureMap⼤⼩不变。LRN的功能放在今天来看是⽆关痛痒的，并不是很强。
2、多层卷积的结构，⽹络更深，特征更抽象。
3、全连接的结构，drop避免过拟合。
ZFNet
上课偷懒
百度图片由 Matthew D Zeiler和Rob Fergus于2013年在“Visualizing and Understanding Convolutional Networks”论⽂中提出，属于AlexNet⽹络的变体。论⽂具有重要意义，阐述了卷积⽹络为什么有效，ZF⽹络是他们顺带提出来的。ZF在faster rcnn等应⽤中做为特征提取模块被⼴泛应⽤，⼀般来讲⽐AlexNet略优。
主要的改动是：减少第⼀层卷积的size和stride（11->7、4->2），提取更多的底层特征，增加第⼆层卷积的步长stride(1->2)。从⽽取得到了和AlexNei基本相同的感知野，featureMap的⼤⼩相同，后⾯的卷积计算量也保持不变。
孩子沉迷手机
VGG
VGG-16⼜称为OxfordNet，是由⽜津视觉⼏何组（Visual Geometry Group）开发的卷积神经⽹络结构。该⽹络赢得了
ILSVR（ImageNet）2014的冠军。时⾄今⽇，VGG仍然被认为是⼀个杰出的视觉模型——尽管它的性能实际上已经被后来的Inception和ResNet超过了。
⽹络结构：
我们就看D(VGG16)和E(VGG19)好了。因为前⾯的⽹络效果没有D和E的效果好，⽽且⽐起D和E来讲不够简洁。
VGG是把⽹络分为5组（模仿AlexNet的五层），然⽽它使⽤了3*3的过滤器，并把它们组合起来作为⼀个卷积序列进⾏处理。特征：
家常海参1.⽹络更深DCNN，channel数⽬更⼤。
2.采⽤多个3*3的卷积，模仿出更⼤的感受野的效果。这些思想也被⽤在了后续的⽹络架构中，如 Inception 与 ResNet。
Christian Szegedy开始追求减少深度神经⽹络的计算开销，并于2014年设计出 GoogLeNet——第⼀个 Inception 架构。
“Going Deeper with Convolutions”中google提出了Inception模块：
《俗世奇人》
受NIN的启发，Inception的思路是减少每⼀层的特征过滤器的数⽬，从⽽减少运算量。⽤ 1*1的卷积块在昂贵的并⾏模块之前减少特征的数量，⽐ AlexNet 与 VGG 的分类器的运算数量少得多。这种做法⼀般称为瓶颈层（Bottleneck）。
⽽且，尽管我们做了更好的运算，我们在此层也没有损失其通⽤性（generality）。事实证明瓶颈层在 ImageNet 这样的数据集上已经表现出了顶尖⽔平，⽽且它也被⽤于接下来介绍的 ResNet 这样的架构中。
它之所以成功是因为输⼊特征是相关联的，因此可通过将它们与 1×1 卷积适当结合来减少冗余。然后，在⼩数量的特征进⾏卷积之后，它们能在下⼀层被再次扩展成有意义的结合。
ResNet
2015 年 12 ⽉⼜出现了新的变⾰，这和 Inception V3 出现的时间⼀样。ResNet 有着简单的思路：供给两个连续卷积层的输出，并分流（bypassing）输⼊进⼊下⼀层（论⽂：Deep Residual Learning fo
r Image Recognition），在imagenet2015夺得冠军。
关系代词和关系副词时尚妆容计算机视觉领域，特征随着⽹络加深⽽愈加抽象，⽽且深层⽹络也会带来梯度弥散/爆炸等问题。⽽且在实践中，深层⽹络（很深）的性能会劣于浅层⽹络，这反映了⼀个事实：⾮线性⽹络⽆法逼近恒等映射⽹络（y=x）。所以我们转⽽去学习恒等映射的扰动。
ResNet要学习的便是残差函数：，残差块的结构是:
这是第⼀次⽹络层数超过⼀百，甚⾄还能训练出 1000 层的⽹络。实际中，考虑计算的成本，对残差块做了计算优化，即将两个3x3的卷积层替换为1x1 + 3x3 + 1x1。
通过⾸先是由带有更⼩输出（通常是输⼊的 1/4）的 1×1 卷积较少特征的数量，然后使⽤⼀个 3×3 的层，再使⽤ 1×1 的层处理更⼤量的特征。类似于 Inception 模块，这样做能保证计算量低，同时提供丰富的特征结合。
