深度学习中的表⽰学习_ReprentationLearning
⼀、深度学习⽹络的表达⽅式汇总及模型分类⽅法
⼈的⼤脑会对眼睛捕捉到的外界事物进⾏逐级抽象，逐渐提取出抽象的语义信息，以便为⼈脑所理解。深度学习从这⼀科学发现得到启发，通过⽹络的权值来捕捉外界输⼊模式的特征，并且通过⽹络连接⽅式来组合这些特征从⽽提取出更加⾼层特征，采⽤这种⽅法逐级从⼤量的输⼊数据中学习到对于输⼊模式有效的特征表⽰，然后再把学习到的特征⽤于分类、回归和信息检索。深度学习能够提取输⼊数据的特征，降低输⼊数据的维数和复杂度，逼近复杂的函数。
online shopping为了使得深度⽹络结构变得更加容易训练，并且强化深度⽹络的特征提取和函数逼近能⼒，需要对深度学习⽹络采⽤更⾼效的⽹络表达⽅式。⽹络的表达⽅式是指⽹络采⽤何种结构上的连接⽅式来抽象表达输⼊模式的内部结构，或表⽰输⼊样本之间的关系。深度学习⽹络的表达⽅式有局部表达、分布式表达和稀疏表达3种。深度⽹络的⽹络结构是指⽹络神经元之间连接关系的确定原理，分为区分型⽹络结构和⽣成型⽹络结构两类。
1、局部表达、分布式表达和稀疏表达
局部表达是⼀种基于局部模板匹配的表达⽅式。先通过⼀个局部核函数对输⼊样本进⾏映射，然后再采⽤⼀个线性组合对局部核函数的输出进⾏组合，得到期望的输出。
英语四级几分算过分布式表达和稀疏表达思想来源于⼈脑的视觉机理，⼈脑通过逐层抽象表⽰外界事物来最终感知事物，这种抽象表⽰往往是通过⼀系列分散的神经元来实现的，这些神经元之间相互依赖，各⾃分散；同时，这种抽象表⽰也是稀疏的，在特定的时刻，只有1-4%神经元同时处于激活状态。分布式表达是分散的，能更有效地提取输⼊数据的特征，减少了对于样本的需求量；此外，分布式表达通过逐层降低输⼊模式的维度，解决⾼维输⼊模式引起的维度灾难问题。
稀疏表达约束深度⽹络⼤部分神经元节点处于抑制状态，即输出值为0；只有少数神经元处于活跃状态，输出值⾮0。稀疏表⽰的⽬的就是希望通过少量的神经元来辨识出输⼊模式内部的驱动要素，在提取出驱动要素的过程中降低⽹络的计算复杂度。
2、判别模型与⽣成模型
模型参数训练有两种⽅法，即判别⽅法和⽣成⽅法，参数训练后产⽣的模型分别称为判别模型和⽣成模型。在进⾏模型参数训练时给定⼀组输⼊X=(x1,x2,….xn)，对应也会在模型的输出端得到⼀组输出Y=(y1,y2,....yn)。在已知输出Y的情况下，⼀定存在⼀组最优的输⼊X*使得条件概率P(X|Y)的值达到最⼤。由贝叶斯公式和全概率公式可得：历届奥运会主题曲
其中，P(Y|X)称为先验概率，P(X|Y)成为后验概率。⽣成⽅法是先对先验概率P(Y|X)建模，然后再求最优的输⼊参数。当输出Y已知
时，P(Y) = 1，即X* = argmax P(Y|X)，因此⽣成模型认为模型的输出Y可以看作是由输⼊X⽣成的。判别⽅法则是直接对后验概率
P(X|Y)进⾏建模，在给定输出Y的状态下寻找最优的输⼊X*，因此判别模型认为模型的输⼊X是由模型的输出Y决定的。
根据采⽤参数训练⽅法不同，深度⽹络分为⽣成型深度⽹络和判别型深度⽹络两类。深度学习常⽤模型有堆叠⾃动编码器、卷积⽹络和深度信念⽹络。其中，堆叠⾃动编码器和卷积⽹络属于⽣成型深度⽹络；深度信念⽹络属于判别型深度⽹络。此外，还有⼀些混合⽹络，如卷积⽹络和⾃动编码器组成卷积⾃动编码器，限制玻尔兹曼机和卷积⽹络组成卷积深度信念⽹络。深度学习应⽤最为⼴泛的有卷积⽹络、深度信念⽹络和堆叠⾃动编码器三种⽹络，这三种⽹络有各⾃的⽹络结构。
3、参考⽂献
[1] 孙志军, 薛雷, 许阳明, 王正. 深度学习研究综述[J]. 计算机应⽤研究, 2012, 29(8):2806-2810.underpressure
[2] 刘建伟, 刘媛, 罗雄麟. 深度学习研究进展[J]. 计算机应⽤研究, 2014, 31(7):1921-1942.
ebd[3] T. N. Sainath,B. Kingsbury, A. R. Mohamed. Learning filter banks within a deep neural network framework[C]. IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU), Olomouc, 2013.活动的英文
我想夯你的意思[4] G. E. Hinton and R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks[J]. Science, 2006:504–507.
[5] Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, Gradient_bad Learning Applied to Document Rerognition[J]. PROC. OF THE IEEE, 1998:1-46.
⼆、深度学习中的表⽰学习_Reprentation Learning
在前⾯指出了深度学习中常⽤的三种表⽰数据的⽅式，即局部表达、稀疏表达和分布式表达。深度学习强⼤建模和知识抽取的能⼒，主要原因之⼀是它对观测样本X采⽤了有效的表达⽅式。
uikit数据的表达⽅式为什么如此重要？
有效的表达⽅式可以简化我们处理问题的难度。⽐如，在NLP领域中，采⽤word2vec把词语表⽰成向量（vector）形式，要⽐采⽤
one-hot形式表⽰词语具有很多优势：
1、可以基于vector直接计算词与词之间的相似程度，one-hot表达形式不可以；
2、word2vec表⽰的向量可以描述词与词之间的依赖关系，one-hot表达形式也不可以；
3、vector不存在one-hot中的⾼纬问题，计算效率更⾼。
表⽰（表达）学习（Reprentation Learning）是什么？为什么表⽰的概念有助于深度学习框架的设计？
表⽰学习，⼜称学习表⽰。在深度学习领域内，表⽰是指通过模型的参数，采⽤何种形式、何种⽅式来表⽰模型的输⼊观测样本X。表⽰学习指学习对观测样本X有效的表⽰。
表⽰学习有很多种形式，⽐如CNN参数的有监督训练是⼀种有监督的表⽰学习形式，对⾃动编码器和限制玻尔兹曼机参数的⽆监督预训练是⼀种⽆监督的表⽰学习形式，对DBN参数-先进性⽆监督预训练，再进⾏有监督fine-tuning-是⼀种半监督的共享表⽰学习形式。
表⽰学习中最关键的问题是：如何评价⼀个表⽰⽐另⼀个表⽰更好？
表⽰的选择通常通常取决于随后的学习任务，即⼀个好的表⽰应该使随后的任务的学习变得更容易。以基于CNN的图像分类任务为例。模型可以分为基于CNN的特征抽取和基于softmax回归的线性分类duplicatekey
两个部分。通过模型参数有监督的训练，通过CNN，从线性不可分的图⽚⾥抽取出线性可分表⽰（特征），softmax线性分类器可以基于抽取的线性可分的表⽰进⾏分类。
表⽰学习中最有趣的⼀种形式是涉及多个任务的共享表⽰学习。为什么？
以⽆监督和有监督结合的共享表⽰学习为例。在深度学习任务中，我们通常有⼤量的⽆标签的训练样本和少量的有标签的训练样本。只在有限的有标签的训练样本上学习，会导致模型存在严重过拟合问题。共享表⽰具体来说，可以从⼤量⽆标签的观测样本中通过⽆监督的⽅法，学习出很好的表⽰，然后基于这些表⽰，采⽤少量有标签的观测样本来得到好的模型参数，缓解监督学习中的过拟合问题。
共享表⽰学习涉及多个任务，多个任务之间共享⼀定相同的因素，⽐如相同的分布（distribution）、观测样本X来⾃相同的领域（domain）等。共享表⽰学习有多种表⽰形式。假设共享表⽰学习中采⽤训练样本A进⾏⽆监督学习，训练样本B进⾏有监督学习。样本A 和样本B可能来⾃相同的领域，也可能来⾃不同的领域；可能任务服从相同的分布，也可能服从不同的分布。
美发连锁店
共享表⽰学习相关的机器学习技术有很多：迁移学习（Transfer Lear）、多任务学习（Multitask Learning）、领域适应性（Domain Adaptation）（One Shot Learning、Zero Shot learning）等。深度学习技术具有很强的特征抽取、知识表达的能⼒，是共享表⽰学习的利器，它可以有效抽取多个⼈任务之间共享的因素、知识或特征。因此，现在出现了很多将深度学习技术⽤于迁移学习、多任务学
习技术中的研究。
