CNN学习

CNN(深度卷积网络)
KAIYUXUE
本PPT架构
1、WHY
2、WHAT
3、HOW(模式图)
4、HOW(公式推导)
回顾review
回顾review
1、对sparautoencoder的回顾总结:通过相似的输入和输出,用cost函数求出中间的参数(更新到最小的cost函数的输出就是中间的参数),而更新时需要用梯度下降法,梯度下降法需要偏导,偏导需要用BP算法。
2、经典sparautoencoder的输出应该是和输入数据尺寸大小一样的,且很相近。
3、然后,拿掉那个后面的输出层后,隐含层的值就是我们所需要的特征值了。
4、因为模型的输出是x,可以看出,特征值输出的也是x的特征,其实这是一种无监督的学****unsupervidlearning的一种方式,叫lf-taughtlearning
5、在这种无监督学****中,可以看出,每个特征值(参数)都与输入相连。是一种全部连接网络
几个概念
为了处理大图像,所以后面就发展到了局部连接网络,也就是说每个隐含层的节点只与一部分连续的输入点连接。
ConvolutionalNeuralNetworksareaspecialkindofmulti-layerneuralnetworks.Likealmosteveryotherneuralnetworkstheyaretrainedwithaversionoftheback-propagationalgorithm.Wheretheydifferisinthearchitecture.
因此:CNN一个厉害的地方就在于通过感受野和权值共享减少了神经网络需要训练的参数的个数。
一些Deeplearning方法:
1、如,1000x1000像素的图像,有1百万个隐层神经元(特征值),全连接:1000x1000x1000000=10^12个连接,也就是10^12个权值参数。
1.图像的空间联系是局部的
2.因此,每一个神经元都不需要对全局图像做感受
3.只感受局部的图像区域,然后在更高层,将这些感受不同局部的神经元综合起来就可以得到全局的信息了。
这样,我们就可以减少连接的数目,也就是减少神经网络需要训练的权值参数的个数了。
2、如,局部感受野是10x10,隐层每个感受野只需要和这10x10的局部图像相连接,所以1百万个隐层神经元就只有一亿个连接,即10^8个参数(10X10X1000000=10^8)
少了4个0(数量级)