单层神经⽹络、多层感知机、深度学习的总结香港宝莲禅寺
聊城古城
关于神经⽹络的⼏点思考：单层——多层——深度
神经⽹络本质上是⼀个逼近器，⼀个重要的基本属性就是通⽤逼近属性。
通⽤逼近属性：
1989年，George Cybenko发表⽂章“Approximation by Superpositions of a Sigmoidal Function”，⽂章证明在只有单个隐层的情况下，对于任何的连续的，⾮线性的sigmoidal函数，只要在隐藏层个数⾜够多的情况下，就能够很好的拟合任意的连续函数。
⽂章所阐述的通⽤逼近属性（UniversalApproximation Properties）是神经⽹络中⾮常重要的⼀个性质：⼀个单隐藏层的神经⽹络，如果神经元个数⾜够多，通过⾮线性的激活函数则可以拟合任意函数。这使得我们在思考神经⽹络的问题的时候，不需要考虑函数是否能够⽤神经⽹络拟合，只需要考虑如何⽤神经⽹络做到更好的拟合。
1991年Kurt Hornik提出：通⽤逼近属性并不是激活函数的具体选择，⽽是多层前馈结构本⾝，该结构使神经⽹络具有通⽤逼近器的性质。
单层神经⽹络的缺点：过年回家买什么
1、我们的优化⽅法不⼀定能够找到我们所希望的优化参数，也就找不到我们需要的拟合函数，虽然这个拟合的函数是存在的；
2、训练结果好，但是泛化能⼒差，即很容易产⽣过拟合
深层神经⽹络（多层感知机）：
使⽤更深层的神经⽹络，可以得到更好的表达效果，这可以直观地理解为：在每⼀个⽹络层中，函数特点被⼀步步的抽象出来；下⼀层⽹络直接使⽤上⼀层抽象的特征进⾏进⼀步的线性组合。但是深层神经⽹络的缺点在于：古风电脑壁纸
1、在⾯对⼤数据时需要⼈为提取原始数据的特征作为输⼊，这个尺度很难掌握，多层神经⽹络会把蹲在屋顶的Kitty和骑在猫奴头上的Kitty 识别为不同的猫咪，⼜会把⼆哈和狼归类为同⼀种动物。前者是对不相关变量过于敏感，后者则因⽆法提取有实际意义的特征。
刘子业刘楚玉
2、想要更精确的近似复杂的函数，必须增加隐藏层的层数，这就产⽣了梯度扩散问题。
3、⽆法处理时间序列数据（⽐如⾳频），因为多层神经⽹络不含时间参数。
深度学习模型：
2006年，⽂章“Reducing the Dimensionality with Neural Networks”在Nature上发表，掀起了深度学习在学术界和⼯业界的研究热潮。作者阐述了两个重要观点：⼀、多隐层的神经⽹络可以学习到能刻画数据本质属性的特征，对数据可视化和分类等任务有很⼤帮助；⼆、可以借助于⽆监督的“逐层初始化”策略来有效克服深层神经⽹络在训练上存在的难度。不断发展。中通快运物流
对于更为复杂的问题，多层神经⽹络是解决不了这些问题的，⽽深度模型是如何解决以上的缺陷的呢？
1、深度学习⾃动选择原始数据的特征，如卷积神经⽹络模型等，能有效提取特征值。
2、深度⽹络的学习算法不同于深层神经⽹络：⼀是改变⽹络的组织结构，⽐如⽤卷积神经⽹络代替全连接（full connectivity）⽹络，训练算法仍依据Backpropagatinggradients的基本原理。另⼀种则是彻底改变训练算法，⽐如Hessian-freeoptimization，recursive least-squares(RLS)算法等。
经典日志3、使⽤带反馈和时间参数的RNN⽹络处理时间序列数据。葱油饼制作方法
参考：
建议资料：
深度学习、神经⽹络原理、机器学习等
