经典⽹络结构：Inception,ResNet,DenNet,SeNet⽹络
1. Inception-v3 （Dec，2015）好看的图片大全
2. ResNet（Dec，2015）
3. nception-v4（Aug，2016）
4. Dual-Path-Net （Aug，2017）
5. Den-net（Aug，2017）
6. SEnet（Sep，2017）
7.Wide Residual Networks（Jun 2017）
Inception V3（还有 V2）
Christian 和他的团队都是⾮常⾼产的研究⼈员。2015 年 2 ⽉，Batch-normalized Inception 被引⼊作为 Inception V2（参见论⽂：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift）。Batch-normalization 在⼀层的输出上计算所有特征映射的均值和标准差，并
且使⽤这些值规范化它们的响应。这相当于数据「增⽩（whitening）」，因此使得所有神经图（neural maps）在同样范围有响应，⽽且是零均值。在下⼀层不需要从输⼊数据中学习 offt 时，这有助于训练，还能重点关注如何最好的结合这些特征。
2015 年 12 ⽉，该团队发布 Inception 模块和类似架构的⼀个新版本（参见论⽂：Rethinking the Inception Architecture for Computer Vision）。该论⽂更好地解释了原始的 GoogLeNet 架构，在设计选择上给出了更多的细节。原始思路如下：
通过谨慎建筑⽹络，平衡深度与宽度，从⽽最⼤化进⼊⽹络的信息流。在每次池化之前，增加特征映射。
斑马卡通当深度增加时，⽹络层的深度或者特征的数量也系统性的增加。
使⽤每⼀层深度增加在下⼀层之前增加特征的结合。
为什么晚上睡不着觉只使⽤ 3×3 的卷积，可能的情况下给定的 5×5 和 7×7 过滤器能分成多个 3×3。看下图
住家创业
因此新的 Inception 成为了：
也可以通过将卷积平整进更多复杂的模块中⽽分拆过滤器：
在进⾏ inception 计算的同时，Inception 模块也能通过提供池化降低数据的⼤⼩。这基本类似于在运⾏⼀个卷积的时候并⾏⼀个简单的池化层：
Inception 也使⽤⼀个池化层和 softmax 作为最后的分类器。
版画图片>五日游ResNet
烟波蓝2015 年 12 ⽉⼜出现了新的变⾰，这和 Inception V3 出现的时间⼀样。ResNet 有着简单的思路：供给两个连续卷积层的输出，并分流（bypassing）输⼊进⼊下⼀层（参见论⽂：Deep Residual Learning for Image Recognition）
这个model是2015年底最新给出的，也是15年的imagenet⽐赛冠军。可以说是进⼀步将conv进⾏到底，其特殊之处在于设计了“bottleneck”形式的block（有跨越⼏层的直连）。
这和之前的⼀些旧思路类似。但 ResNet 中，它们分流两个层并被应⽤于更⼤的规模。在 2 层后分流是⼀个关键直觉，因为分流⼀个层并未给出更多的改进。通过 2 层可能认为是⼀个⼩型分类器，或者
⼀个 Network-In-Network。
这是第⼀次⽹络层数超过⼀百，甚⾄还能训练出 1000 层的⽹络。
有⼤量⽹络层的 ResNet 开始使⽤类似于 Inception 瓶颈层的⽹络层：
这种层通过⾸先是由带有更⼩输出（通常是输⼊的 1/4）的 1×1 卷积较少特征的数量，然后使⽤⼀个 3×3 的层，再使⽤ 1×1 的层处理更⼤量的特征。类似于 Inception 模块，这样做能保证计算量低，同时提供丰富的特征结合。
ResNet 在输⼊上使⽤相对简单的初始层：⼀个带有两个池的 7×7 卷基层。可以把这个与更复杂、更少直觉性的 Inception V3、V4 做下对⽐。
ResNet 也使⽤⼀个池化层加上 softmax 作为最后的分类器。
关于 ResNet 的其他贡献每天都有发⽣：
ResNet 可被认为既是平⾏模块⼜是连续模块，把输⼊输出（inout）视为在许多模块中并⾏，同时每个模块的输出⼜是连续连接的。
ResNet 也可被视为并⾏模块或连续模块的多种组合（参见论⽂：Residual Networks are Exponential Enmbles of Relatively Shallow Networks）。
已经发现 ResNet 通常在 20-30 层的⽹络块上以并⾏的⽅式运⾏。⽽不是连续流过整个⽹络长度。
当 ResNet 像 RNN ⼀样把输出反馈给输⼊时，该⽹络可被视为更好的⽣物上可信的⽪质模型（参见论⽂：Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex）。
最深的model采⽤的152层！！下⾯是⼀个34层的例⼦，更深的model见表格。
其实这个model构成上更加简单，连LRN这样的layer都没有了。
block的构成见下图：
Inception V4
这是Christian 与其团队的另⼀个 Inception 版本，该模块类似于 Inception V3：
Inception V4 也结合了 Inception 模块和 ResNet 模块：热情近义词
我认为该架构不太简洁，但也满满都是较少透明度的启发法（heuristics）。很难理解⾥⾯的选择，对作者们⽽⾔也难以解释。考虑到⽹络的简洁性，可被轻易的理解并修正，那 ResNet 可能就更好了。
