详解⾃动编码器（AE）
详解⾃动编码器（AE）
⾃动编码器(AE,DAE,CAE,SAE)的⽅法介绍与简单实现(附代码)
⾃动编码器的发展简述
⾃动编码器(Auto-Encoders,AE)
传统的⾃动编码器是⼀种数据的压缩算法
生日快乐祝福词其算法包括编码阶段和解码阶段，且拥有对称的结构。
⽬前⾃编码器的应⽤主要有两个⽅⾯，第⼀是数据去噪，第⼆是为进⾏可视化⽽降维。配合适当的维度和稀疏约束，⾃编码器可以学习到⽐PCA等技术更有意思的数据投影。
评价：
传统⾃编码器的⽬的是使输出与输⼊尽量相同，这完全可以通过学习两个恒等函数来完成，但是这样
的变换没有任何意义，因为我们真正关⼼的是隐层表达，⽽不是实际输出。因此，针对⾃编码器的很多改进⽅法都是对隐层表达增加⼀定的约束，迫使隐层表达与输⼊不同。
降噪⾃编码(Denoising Auto-Encoders, DAE)(2008)
竹子的资料⾃编码器真正关⼼的是隐藏层的特征表达，⼀个好的表达能够捕获输⼊信号的稳定结构，以该⽬的为出发出现了降噪⾃动编码器。
幸福的声音降噪⾃动编码器，⾸先对⼲净的输⼊信号加⼊噪声产⽣⼀个受损的信号。然后将受损信号送⼊传统的⾃动编码器中，使其重建回原来的⽆损信号。
市场部职责
降噪⾃编码器与传统的⾃动编码器的主要区别在于:
1.降噪⾃编码器通过⼈为的增加噪声使模型获得鲁棒性的特征表达
中国牡丹2.避免使隐层单元学习⼀个传统⾃编码器中没有意义的恒等函数
评价：
降噪⾃编码器通过对输⼊信号⼈为地进⾏损坏，主要是为了达到两个⽬的，⾸先是为了避免使隐层单元学习⼀个传统⾃编码器中没有实际意义的恒等函数，其次就是为了使隐层单元可以学习到⼀个更加具有鲁棒性的特征表达。
降噪⾃编码器最⼤的优点在于，重建信号对输⼊中的噪声具有⼀定的鲁棒性，⽽最⼤的缺陷在于每次进⾏⽹络训练之前，都需要对⼲净输⼊信号⼈为地添加噪声，以获得它的损坏信号，这⽆形中就增加了该模型的处理时间。
堆叠降燥⾃动编码器 (Stacked Denoising Auto-Encoders, SAE)(2008)
堆叠降噪⾃编码器与降噪⾃编码器的区别在于:
做梦梦到自己结婚
1.堆叠降噪⾃编码器采⽤了降噪编码器的编码器作为基础单元，并且使⽤其训练⽅法进⾏预训练
2.降噪⾃动编码器是⽆监督学习(⾃监督)的⼀种⽅法,⽽降噪⾃编码器是⼀种有监督⽅法.蝴蝶梦小说
评价：
堆叠降噪⾃编码器是降噪⾃编码器的⼀个应⽤⽅法.
卷积⾃动编码器(Convolution Auto-Encoders, CAE)(2011)
全卷积⽹络是⼀种⾯向特定应⽤(图像语义分割)的卷积神经⽹络，其结构图如下图所⽰:
与经典的CNN在卷积层之后使⽤全连接层得到固定长度的特征向量进⾏分类（全联接层＋softmax输出）不同，FCN可以接受任意尺⼨的输⼊图像，采⽤反卷积层对最后⼀个卷积层的feature map进⾏上采样, 使它恢复到输⼊图像相同的尺⼨，从⽽可以对每个像素都产⽣了⼀个预测, 同时保留了原始输⼊图像中的空间信息, 最后在上采样的特征图上进⾏逐像素分类。
与全卷积⽹络类似的⼀种⽆监督⽅法称为卷机⾃动编码器。
由于卷积神经⽹络所取得的各种优异表现，直接推动了卷积⾃编码器的产⽣。
卷积⾃编码器属于传统⾃编码器的⼀个特例，它使⽤卷积层和池化层替代了原来的全连接层，卷积⾃编码器能很好的保留⼆维信号的空间信息。
评价：属马性格
其主要差别在于卷积⾃编码器采⽤卷积⽅式对输⼊信号进⾏线性变换，并且其权重是共享的，这点与卷积神经⽹络⼀样。因此，重建过程就是基于隐藏编码的基本图像块的线性组合。
变分⾃动编码器(Variational Auto-Encoders, VAE)(Kingma, 2014)
变分⾃编码器是⼀种主要⽤于数据⽣成的⾃编码器的变体.当作为⽣成模型时,⾸先利⽤数据训练变分⾃编码器，然后只使⽤变分⾃编码器的解码部分,⾃动⽣成与训练数据类似的输出.
其结构图如图所⽰:
整个结构可以分成三个部分，分别是编码部分，解码部分和⽣成部分.编码部分和解码部分同时进⾏训练,⽬标函数是从KL散度的概念中推倒得到的.
