循环神经⽹络系列
前沿
经验是智慧之⽗，记忆是智慧之母。 -谚语
在前馈神经⽹络中，信息的传递是单向的，这种限制虽然使得⽹络变得更容易学习，但在⼀定程度上也减弱了神经⽹络模型的能⼒。在⽣物神经⽹络中，神经元之间的连接关系要复杂的多。前馈神经⽹络可以看作是⼀个复杂的函数，每次输⼊都是独⽴的，即⽹络的输出只依赖于当前的输⼊。但是在很多现实任务中，⽹络的输⼊不仅和当前时刻的输⼊相关，也和其过去⼀段时间的输出相关。⽐如⼀个有限状态⾃动机，其下⼀个时刻的状态（输出）不仅仅和当前输⼊相关，也和当前状态（上⼀个时刻的输出）相关。此外，前馈⽹络难以处理时序数据，⽐如视频、语⾳、⽂本等。时序数据的长度⼀般是不固定的，⽽前馈神经⽹络要求输⼊和输出的维数都是固定的，不能任意改变。因此，当处理这⼀类和时序相关的问题时，就需要⼀种能⼒更强的模型。
循环神经⽹络
循环神经⽹络（Recurrent Neural Network，RNN）是⼀类具有短期记忆能⼒的神经⽹络。在循环神经⽹络中，神经元不但可以接受其它神经元的信息，也可以接受⾃⾝的信息，形成具有环路的⽹络结构。
和前馈神经⽹络相⽐，循环神经⽹络更加符合⽣物神经⽹络的结构。循环神经⽹络已经被⼴泛应⽤在语⾳识别、语⾔模型以及⾃然语⾔⽣成等任务上。循环神经⽹络的参数学习可以通过随时间反向传播算法[Werbos, 1990]来学习。随时间反向传播算法即按照时间的逆序将错误信息⼀步步地往前传递。当输⼊序列⽐较长时，会存在梯度爆炸和消失问题[Bengio et al., 1994, Hochreiter and Schmidhuber, 1997, Hochreiteret al., 2001]，也称为长期依赖问题。为了解决这个问题，⼈们对循环神经⽹络进⾏了很多的改进，其中最有效的改进⽅式引⼊门控机制。
中国经纬度 此外，循环神经⽹络可以很容易地扩展到两种更⼴义的记忆⽹络模型：递归神经⽹络和图⽹络。
循环神经⽹络
简单循环神经⽹络
水瓶座是几月几日>去除鼻子黑头
请假条格式学生简单循环神经⽹络
简单循环神经⽹络参数学习
循环神经⽹络参数学习产品的英文
循环神经⽹络中的梯度计算⽅式
在循环神经⽹络中主要有两种计算梯度的⽅式：随时间反向传播（BPTT） 和 实时循环学习（RTRL）算法。随时间反向传播算法
随时间反向传播算法
随时间反向传播算法实时循环学习算法
工地安全员
沈文秀实时循环学习算法
实时循环学习算法长期依赖问题
长期依赖问题
长期依赖问题改进⽅案
>知识的英语
