隐藏网络

神经⽹络的隐藏层

通常，卷积神经⽹络除了输⼊和输出层之外还有四个基本的神经元层，在三层神经⽹络中，这基层被称为隐藏层

卷积层（Convolution）

激活层（Activation）

池化层（Pooling）

完全连接层（Fullyconnected）

卷积层

在最初的卷积层中，成千上万的神经元充当第⼀组过滤器，搜寻图像中的每个部分和像素，找出模式（pattern）。随着越来越多的图像被

处理，每个神经元逐渐学习过滤特定的特征，这提⾼了准确性。

⽐如图像是苹果，⼀个过滤器可能专注于发现“红⾊”这⼀颜⾊，⽽另⼀个过滤器可能会寻找圆形边缘，另⼀个过滤器则会识别细细的茎。

如果你要清理混乱的地下室，准备在车库搞个⼤销售，你就能理解把⼀切按不同的主题分类是什么意思了（玩具、电⼦产品、艺术品、⾐服

等等）。卷积层就是通过将图像分解成不同的特征来做这件事的。

特别强⼤的是，神经⽹络赖以成名的绝招与早期的AI⽅法（⽐如DeepBlue中⽤到的）不同，这些过滤器不是⼈⼯设计的。他们纯粹是通

过查看数据来学习和⾃我完善。

卷积层创建了不同的、细分的图像版本，每个专⽤于不同的过滤特征——显⽰其神经元在哪⾥看到了红⾊、茎、曲线和各种其他元素的实例

（但都是部分的）。但因为卷积层在识别特征⽅⾯相当⾃由，所以需要额外的⼀双眼睛，以确保当图⽚信息在⽹络中传递时，没有任何有

价值的部分被遗漏。

神经⽹络的⼀个优点是它们能够以⾮线性的⽅式学习。如果不⽤数学术语解释，它们的意思是能够发现不太明显的图像中的特征——树上的

苹果，阳光下的，阴影下的，或厨房柜台的碗⾥的。这⼀切都要归功于于激活层，它或多或少地突出了有价值的东西——⼀些既明了⼜难以

发现的属性。

在我们的车库⼤甩卖中，想像⼀下，从每⼀类东西⾥我们都挑选了⼏件珍贵的宝物：书籍，⼤学时代的经典T恤。要命的是，我们可能还不

想扔它们。我们把这些“可能”会留下的物品放在它们各⾃的类别之上，以备再考虑。

池化层

整个图像中的这种“卷积”会产⽣⼤量的信息，这可能会很快成为⼀个计算噩梦。进⼊池化层，可将其全部缩⼩成更通⽤和可消化的形式。

有很多⽅法可以解决这个问题，但最受欢迎的是“最⼤池”（MaxPooling），它将每个特征图编辑成⾃⼰的“读者⽂摘”版本，因此只有

红⾊、茎或曲线的最好样本被表征出来。

在车库春季清理的例⼦中，如果我们使⽤著名的⽇本清理⼤师MarieKondo的原则，将不得不从每个类别堆中较⼩的收藏夹⾥选择“激发

喜悦”的东西，然后卖掉或处理掉其他东西。所以现在我们仍然按照物品类型来分类，但只包括实际想要保留的物品。其他⼀切都卖了。

这时，神经⽹络的设计师可以堆叠这⼀分类的后续分层配置——卷积、激活、池化——并且继续过滤图像以获得更⾼级别的信息。在识别图

⽚中的苹果时，图像被⼀遍⼜⼀遍地过滤，初始层仅显⽰边缘的⼏乎不可辨别的部分，⽐如红⾊的⼀部分或仅仅是茎的尖端，⽽随后的更多

的过滤层将显⽰整个苹果。⽆论哪种⽅式，当开始获取结果时，完全连接层就会起作⽤。

完全连接层

现在是时候得出结果了。在完全连接层中，每个削减的或“池化的”特征图“完全连接”到表征了神经⽹络正在学习识别的事物的输出节点

（神经元）上。如果⽹络的任务是学习如何发现猫、狗、豚⿏和沙⿏，那么它将有四个输出节点。在我们描述的神经⽹络中，它将只有两

个输出节点：⼀个⽤于“苹果”，⼀个⽤于“橘⼦”。

如果通过⽹络馈送的图像是苹果，并且⽹络已经进⾏了⼀些训练，且随着其预测⽽变得越来越好，那么很可能⼀个很好的特征图块就是包含

了苹果特征的⾼质量实例。这是最终输出节点实现使命的地⽅，反之亦然。

“苹果”和“橘⼦”节点的⼯作（他们在⼯作中学到的）基本上是为包含其各⾃⽔果的特征图“投票”。因此，“苹果”节点认为某图包

含“苹果”特征越多，它给该特征图的投票就越多。两个节点都必须对每个特征图进⾏投票，⽆论它包含什么。所以在这种情况下，“橘

⼦”节点不会向任何特征图投很多票，因为它们并不真正包含任何“橘⼦”的特征。最后，投出最多票数的节点（在本例中为“苹果”节

点）可以被认为是⽹络的“答案”，尽管事实上可能不那么简单。

因为同⼀个⽹络正在寻找两个不同的东西——苹果和橘⼦——⽹络的最终输出以百分⽐表⽰。在这种情况下，我们假设⽹络在训练中表现已

经有所下降了，所以这⾥的预测可能就是75％的“苹果”，25％的“橘⼦”。或者如果是在训练早期，可能会更加不正确，它可能是20％

的“苹果”和80％的“橘⼦”。这可不妙。

如果⼀开始没成功，再试，再试…

所以，在早期阶段，神经⽹络可能会以百分⽐的形式给出⼀堆错误的答案。20％的“苹果”和80％的“橘⼦”，预测显然是错误的，但由

于这是使⽤标记的训练数据进⾏监督学习，所以⽹络能够通过称为“反向传播”的过程来进⾏系统调整。

避免⽤数学术语来说，反向传播将反馈发送到上⼀层的节点，告诉它答案差了多少。然后，该层再将反馈发送到上⼀层，再传到上⼀层，直

到它回到卷积层，来进⾏调整，以帮助每个神经元在随后的图像在⽹络中传递时更好地识别数据。

这个过程⼀直反复进⾏，直到神经⽹络以更准确的⽅式识别图像中的苹果和橘⼦，最终以100％的正确率预测结果——尽管许多⼯程师认为

85％是可以接受的。这时，神经⽹络已经准备好了，可以开始真正识别图⽚中的苹果了。