神经⽹络之⽗Hinton介绍及其论⽂介绍
1简介
致命交叉点杰弗⾥·埃弗⾥斯特·⾟顿（Geoffrey Everest Hinton），计算机学家、⼼理学家，被称为“神经⽹络之⽗”、“深度学习⿐祖”。他研究了使⽤神经⽹络进⾏机器学习、记忆、感知和符号处理的⽅法，并在这些领域发表了超过200篇论⽂。他是将（Backpropagation）反向传播算法引⼊多层神经⽹络训练的学者之⼀，他还联合发明了波尔兹曼机（Boltzmann machine）。他对于神经⽹络的其它贡献包括：分布特征（distributed reprentation）、时延神经⽹络、专家混合系统（mixtures of experts）、亥姆霍兹机（Helmholtz machines）等。
2 论⽂
2.1 玻尔兹曼机池塘英语
1985年Hinton等⼈写的《A learning algorithm for Boltzmann machines》，即玻尔兹曼机的学习算法。玻尔兹曼机是第⼀个能够学习不属于输⼊或输出的神经元内部表征的神经⽹络。
热量均衡下，系统在任⼀全局状态的概率服从玻尔兹曼分布。玻尔兹曼分布有⾮常好的数据特性，它与信息理论密切相关。特别地，两个全局状态的log 概率的微分在温度1下刚好等于它们能量的微分。这样
容易求偏导数，容易采⽤梯度下降算法。
⽂中提出模型4-2-4 Encoder，第⼀个4表⽰4个可见单元，可以代表输⼊，2是隐藏单元，最后⼀个4代表可见单元，可以代表输出。
今天我值日作文
参考下⾯⽂章：实业家洛克菲勒
2.2 反向传播
反向传播由下⾯这些⼈分别独⽴发现：(Bryson and Ho, 1975; Werbos, 1974; Parker, 1985; LeCun, 1985; Rumelhart et al., 1986)。反向传播是第⼀个有效的学习神经⽹络的⽅法，神经⽹络可以拥有⼀个或多个⾃适应隐藏单元层。
月考总结500字1986年Hinton等⼈写的《Learning reprentations by back-propagating errors》。输⼊与输出之间隐藏单元的引⼊，使得计算复杂，采⽤反向传播。
深度学习的开篇：2006年. G.E. Hinton 和R. R. Salakhutdinov的《Reducing the dimensionality of data with neural networks》
只从1980年代开始，通过深度autoencoder的反向传播（backpropagation）是处理⾮线性维度下降的
⼀个⾮常有效分⽅法，但需要满⾜3个条件（1）计算机速度⾜够快；（2）数据集⾜够⼤；（3）初始权重有⼀个好的办法。⽽现在刚好就满⾜这三个条件了。
该⽂提出的模型：（1）第⼀步预训练，迭代训练很多RBMs，即训练完⼀个RBM后，将其学到的特征⽤于训练下⼀个RBM；（2）接着是Unroll（展开），构成⼀个深度autoencoder；（3）最后使⽤反向传播fine-tuning。
参考下⾯⽂章：
1. 1986年，反向传播-Hinton论⽂系列《Learning reprentations by back-propagating errors》
2. Hinton论⽂系列-Reducing the dimensionality of data with neural networks，2006年。
2.3 wake-sleep算法
服装采购wake-sleep算法，该算法有两个通路，⼀个是从下到上的识别连接，⼀个是从上到下的⽣成连接.
2.4 deep belief nets
十大国产轮胎品牌2006年Hinton等⼈写的《A fast learning algorithm for deep belief nets》显⽰了是有可能学习⼀个深
度、紧密相连的信念⽹络，⼀次学习⼀层。进⾏如此学习⽅式的⼀种是假定当学习低层时，较⾼的层不存在；但这与简单的因⼦化相似（替换难处理的后验分布）不相容。为了使这些相似起作⽤，我们需要真的后验尽可能逼近因⼦化。所以不是忽略较⾼层，⽽是假定他们存在，只是有捆绑的权重，他们满⾜互补先验分布（Complementary Prior），以使真后验分布可以因⼦化。这就相当于拥有了⼀个⽆向模型，可以使⽤对⽐散度（contrastive divergence）有效的学习。
2.5 其他模型
虾滑小吃1. AlexNet .是2012年ImageNet竞赛冠军获得者Hinton和他的学⽣Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经⽹
络被提出，⽐如优秀的vgg,GoogLeNet。AlexNet中包含了⼏个⽐较新的技术点，也⾸次在CNN中成功应⽤了ReLU、Dropout和LRN等Trick。
2.
