深度学习介绍课件

深度学****简介
深度学****简介
主要内容
现状
神经网络
深度学****br/>介绍
常见模型
StackedAuto-Encoder
ConvolutionalNeuralNetwork
DeepBeliefNetwork
杂项
主要内容现状
现状
2006年7月,机器学****界的著名学者GeofferyHinton和他的学生RuslanSalakhutdinov在《Science》上发表了一篇关于深层神经网络训练算法的文章,引起了深度学****在学术界和工业界的关注;
2012年5月到10月,为了回应对于深度学****方法的质疑,也为了测试深度学****算法的真实效果,GeofferyHinton和他的另外一个学生AlexKrizhevsky参加了ImageNet大规模视觉识别竞赛,以大幅领先优势取得第一名;
2012年6月,机器学****和人工智能的知名学者AndrewNg等人与谷歌经过多年的合作,在语音识别与图像目标识别方面取得了突破性的进展;
2012年11月,在二十一世纪计算大会上,微软首席研究官RickRashid展示了一套基于深层神经网络模型的语音识别系统,能实时流畅翻译,切显著地降低了错误率,这在语音识别领域是一个突破;
2013年1月,百度创始人兼CEO李彦宏在年会上宣布将成立百度研究院;
2013年7月,谷歌收购了深度学****初创公司DNNRearchInc.,公司员工GeofferyHinton和他的两个学生AlexKrizhevsky,IlyaSutskever加入谷歌;
现状2006年7月,机器学****界的著名学者GeofferyH
现状
2013年10月,雅虎收购图像识别公司LookFlow,正式加入深度学****研究队伍;
2015到2016年,苹果收购人工智能研究公司VocalIQ,Percepti,Emotient,Turi等,强化Siri和摄像等应用上的优势;
2015年11月,谷歌发布人工智能系统TensorFlow并宣布开放源代码;
2016年5月,亚马逊发布了一个开源的使用GPU训练和部署深层神经网络开源工具DSSTNE;
2016年8月,英特尔开发者大会上,英特尔宣布将于2017年推出专门为人工智能和深度学****而设计的最新一代CPU—IntelXeonPhi处理器,代号KnightsMill,英特尔宣称其运算能力比对手NVIDIA的Kepler系列GPU产品快两倍以上。
2016年10月,NVIDIA发布了新版本的通用并行计算架构库:统一计算设备架构(ComputeUnifiedDeviceArchitecture,CUDA)8.0,以及深度学****专用GPU加速库:cuDNN5.0;
2016年11月,在2016全球超级计算机大会(SC16)上,AMD宣布推出新版Radeon开放计算平台(RadeonOpenComputePlatform,ROCm),以及用于GPU加速器的免费开源库MIOpen。
现状2013年10月,雅虎收购图像识别公司LookFlow,
神经网络
在机器学****与认知识别领域中,人工神经网络是一类模拟生物神经网络的模型,基于大量训练数据,用来预测(决策问题)或估计目标函数模型。人工神经网络一般呈现为相互关联的“神经元”之间相互交换信息的系统。在神经元的连接中包含有可以根据训练样本调整的权重,使得神经网络可以自适应输入样本,并且拥有学****能力。
作为机器学****方法的一种,神经网络算法可以用来处理一系列传统机器方法无法处理,或者处理难度较大的问题,包括计算机视觉、语音识别等任务。
神经网络在机器学****与认知识别领域中,人工神经网络是一类模拟生
基本结构
神经网络的基本单元是神经元。通过对所有输入进行加权求和,之后进行非线性映射得到该神经元的输出值。
神经网络按照拓扑结构,大体分为层状与网状两大类。
常用激活函数:
ReLU函数
S型函数
双曲正切函数
神经元模型
基本结构神经网络的基本单元是神经元。通过对所有输入进行加权求
神经网络
输出:
激活函数:
神经网络输出:激活函数:
神经网络
神经网络
BP网络
前馈网络的逐层计算:
输入值从输入层神经元通过加权连接逐层前向传播,经过隐含层,最后到达输出层得到输出。在信号的前向传播过程中,网络的权值是固定不变的,每一层神经元的状态只影响下一层神经元的状态。
反向传播算法:
网络的实际输出与期望输出之间的差值即为误差信号。误差信号由输出端开始逐层反向传播。在误差信号反向传播的过程中,网络的权值根据误差的梯度进行调节,通过权值的不断修正使网络的实际输出更加接近期望输出。
前馈网络结构
BP网络前馈网络的逐层计算:前馈网络结构
说明
代价函数
在遇到回归问题时,指定代价函数以使目标变量的真实值和预测值的距离最小;
代价函数描述了网络输出与真实值之间的误差;
网络模型的训练过程即:通过随机梯度下降的方法最小化代价函数以提高网络精度;
可以在代价函数中引入其他约束以满足设定要求。
说明代价函数