仓储费LSTM模型
chair（⼆）LSTM模型
服装剪裁
1.长短期记忆模型（long-short term memory）是⼀种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题⽽提出的；在传统的RNN中，训练算法使⽤的是BPTT，当时间⽐较长时，需要回传的残差会指数下降，导致⽹络权重更新缓慢，⽆法体现出RNN的长期记忆的效果，因此需要⼀个存储单元来存储记忆，因此LSTM模型被提出；
2.下⾯两个图可以看出RNN与LSTM的区别：
（1）RNN
wifi是什么意思>interested（2）LSTM
PS：
（1）部分图形含义如下：
（2）RNN与LSTM最⼤的区别在于LSTM中最顶层多了⼀条名为“cell state”的信息传送带，其实也就是信息记忆的地⽅；
3.LSTM的核⼼思想：
（1）理解LSTM的核⼼是“cell state”，暂且名为细胞状态，也就是上述图中最顶的传送线，如下：
（2）cell state也可以理解为传送带，个⼈理解其实就是整个模型中的记忆空间，随着时间⽽变化的，当然，传送带本⾝是⽆法控制哪些信息是否被记忆，起控制作⽤的是下⾯将讲述的控制门（gate）；dianes
翻译 英语
remembrance day（3）控制门的结构如下：主要由⼀个sigmoid函数跟点乘操作组成；sigmoid函数的值为0-1之间，点乘操作决定多少信息可以传送过去，当为0时，不传送，当为1时，全部传送；
（4）LSTM中有3个控制门：输⼊门，输出门，记忆门；
4.LSTM⼯作原理：
（1）forget gate：选择忘记过去某些信息：
（2）input gate：记忆现在的某些信息：
ele（3）将过去与现在的记忆进⾏合并：
（4）output gate：输出
黑龙江学位网
PS：以上是标准的LSTM的结构，实际应⽤中常常根据需要进⾏稍微改善；
5.LSTM的改善
（1）peephole connections：为每个门的输⼊增加⼀个cell state的信号
（2）coupled forget and input gates：合并忘记门与输⼊门
