表⽰学习（ReprentationLearning）融合
⼀、前⾔
2013年，Bengio等⼈发表了关于表⽰学习的综述。最近拜读了⼀下，要读懂这篇论⽂还有很多⽂献需要阅读。组会上正好报了这篇，所以在此做⼀个总结。
鉴于⼤家都想要我的汇报PPT，那我就分享给⼤家，希望能对⼤家有所帮助。
链接：
烦恼近义词提取码：196p
⼆、表⽰学习发展由来
当我们学习⼀个复杂概念时，总想有⼀条捷径可以化繁为简。机器学习模型也不例外，如果有经过提炼的对于原始数据的更好表达，往往可以使得后续任务事倍功半。这也是表⽰学习的基本思路，即找到对于原始数据更好的表达，以⽅便后续任务（⽐如分类）。⼈⼯智能——>机器学习——>深度学习发展经历了⼀个波折上升的过程，越来越多的模型被发明出来，但想要好的表⽰效果，还得看数据，数据质量好，数据特征好才是王道。
1. 赫布于1949年基于神经⼼理的提出了⼀种学习⽅式，该⽅法被称之为赫布学习理论。2、1952，IBM科学家亚瑟·塞缪尔开发了⼀
个跳棋程序。该程序能够通过观察当前位置，并学习⼀个隐含的模型，从⽽为后续动作提供更好的指导。提出机器学习。3、伟博斯在1981年的神经⽹络反向传播(BP)算法中具体提出多层感知机模型。重新点燃机器学习之⽕。4、神经⽹络研究领域领军者Hinton在2006年提出了神经⽹络Deep Learning算法，使神经⽹络的能⼒⼤⼤提⾼，向⽀持向量机发出挑战。
“数据决定了机器学习的上限，⽽算法只是尽可能逼近这个上限”，这⾥的数据指的就是经过特征⼯程得到的数据。特征⼯程就是⼀个把原始数据转变成特征的过程，这些特征可以很好的描述这些数据，并且利⽤它们建⽴的模型在未知数据上的表现性能可以达到最优（或者接近最佳性能）。从数学的⾓度来看，特征⼯程就是去设计输⼊变量X。
在机器学习时代，我们如果需要对汽车进⾏表⽰，往往依靠的是领域专家⼿⼯提取特征并表⽰；在深度学习时代，我们直接将汽车输⼊模型，汽车将⾃动转换成⾼效有意义的表⽰。
2019年3⽉27⽇ ——ACM宣布，深度学习的三位创造者Yoshua Bengio， Yann LeCun， 以及Geoffrey Hinton获得了2019年的图灵奖。
三、论⽂结构
本⽂回顾⾮监督特征学习和深度学习领域的⼀些近期⼯作，包括概率模型的发展、⾃动编码机、流⾏学习和深度⽹络。
民谣的特点定义：Learning reprentations of the data that make it easier to extract uful information when building classifiers or other predictors。翻译：表⽰学习以便在构建分类器或其他预测器时更容易提取有⽤的信息。
分布式表⽰(distributed reprentation). 这是深度学习最重要的性质。举⼀个⾮常简单的例⼦，假设我们的词典上有16个词，如果⽤传统的bag-of-words 的表⽰⽅法，我们可以⽤16维的向量来表⽰每个词，向量的每⼀位代表某个词的出现与否。然⽽，如果我们⽤分布式表⽰的思想，我们也可以⽤四维的向量来代表每⼀个词，例如(0,0,0,1)， (0,0,1,0),..., (1,1,1,1) 。 这个简单的例⼦其实⽤来说明：对同⼀个输⼊，我们可以有不同的配置(configuration)。
四、三种单层表⽰学习⽅法
幸福拍手歌伴奏
概率图模型中的术语图指的是图论，也就是带有边和点的数学对象。确切地说，概率图模型（Probabilistic Graphical
Models，PGM）是指：你想描述不同变量之间的关系，但是，你⼜对这些变量不太确定，只有⼀定程度的相信或者⼀些不确定的知识。
贝叶斯概率图模型是有向图，因此可以解决有明确单向依赖的建模问题，⽽马尔可夫概率图模型是⽆向图，可以适⽤于实体之间相互依赖的建模问题。这两种模型以及两者的混合模型应⽤都⾮常⼴泛。条件随机场（CRF）⼴泛应⽤于⾃然语⾔处理（如词性标注，命名实体识别）。
公顷换算
生芝麻怎么吃>雨伞的简笔画在马尔科夫链中，每⼀个圆圈代表相应时刻的状态，有向边代表了可能的状态转移，权值表⽰状态转移概率。 HMM，隐马尔可夫模型，是⼀种有向图模型。由1阶马尔可夫模型演变⽽来，不同之处在于我们能够观测到的量不是过程本⾝，⽽是与其有⼀定关系的另⼀些量。那HMM中的隐体现在哪呢？这⾥“隐”指的是马尔科夫链中任意时刻的状态变量不可见，也就是说状态序列Y1,Y2,...,,...,Yt⽆法直接观测到。但是HMM中每时刻有⼀个可见的观测值Xt与之对应.隐马尔可夫模型（HMM）是语⾳识别的⽀柱模型.
玻尔兹曼机是⼀⼤类的神经⽹络模型，但是在实际应⽤中使⽤最多的则是受限玻尔兹曼机（RBM）。受限玻尔兹曼机(RBM)能学习并发现数据的复杂规则分布，将多个RBM堆叠就构成了深度置信⽹络(deep belief network, DBN)，从⽽可以从更加复杂的⾼维输⼊数据中抽取维数更低、区别度较⾼的特征。
⾃动编码器⽂章：
如上图，我们将input输⼊⼀个encoder编码器，就会得到⼀个code，这个code也就是输⼊的⼀个表⽰，那么我们怎么知道这个code表⽰的就是input呢？我们加⼀个decoder解码器，这时候decoder就会输出⼀个信息，那么如果输出的这个信息和⼀开始的输⼊信号input是很像的（理想情况下就是⼀样的），那很明显，我们就有理由相信这个code是靠谱的。所以，我们就通过调整encoder和decoder的参数，使得重构误差最⼩，这时候我们就得到了输⼊input信号的第⼀个表⽰了，也就是编码code了。因为是⽆标签数据，所以误差的来源就是直接重构后与原输⼊相⽐得到。
1、稀疏⾃编码：减⼩编码后隐藏层神经元个数。
2、栈式⾃编码神经⽹络是⼀个由多层稀疏⾃编码器组成的神经⽹络，其前⼀层⾃编码器的输出作为其后⼀层⾃编码器的输⼊。采⽤逐层贪婪训练法进⾏训练，获取栈式⾃编码神经⽹络参数。
3、去噪⾃动编码器DA是在⾃动编码器的基础上，训练数据加⼊噪声，所以⾃动编码器必须学习去去除这种噪声⽽获得真正的没有被噪声污染过的输⼊。所以他的泛化能⼒
强。4、DAE是通过对输⼊添加随机噪声，经过编码解码来获得健壮的重构；⽽CAE对扰动的健壮性是通过惩罚 雅克⽐矩阵F范数各元素的和得到。CAE抓住内部因素提⾼特征提取健壮性，DAE通过外部因素提⾼特征提取健壮性。海拔最低的大洲
