问:为什么长期记忆(LSTM)被称为长和短两种类型的记忆？

Question

有人能告诉我为什么LSTM被称为长和短两种类型的内存吗？我知道在LSTM中，他们存储了以前状态的一些数据。但是如果它是作为短时间存储的，那么为什么它被称为长期内存，如果它作为长期存储数据，那么为什么它被称为短期内存。太让人困惑了！

Answer 1

长期短期内存意味着在长时间内存储短期数据.

例如，想想一段文字。巴妮是一只大红狗，耳朵小，尾巴长，12岁。如果你的任务是找出第二句中“他”指的是什么，你会把这些数据发送到一个LSTM网络中，它将分析每个单词。一个单词的计算是短期记忆.但是，像您所说的那样，每个单词(隐藏状态)的计算是在分析下一个单词时传递和包含的。LSTM网络改进了标准的RNN，能够为许多状态存储这些数据，因此在长时间(将隐藏的状态传递给下一个单词)中存储短期数据(单个字的计算)。

一个普通的RNN可能可以处理上面的例子，但是如果你输入一个100字的文本，一个普通的RNN就不能存储所有的数据，导致渐变消失或爆炸。因此，RNNs能够存储短期数据，就像LSTM一样，只有LSTM能够在更长的时间(通常是时间)来存储数据。

Answer 2

泛型RNN能够学习短期依赖项。

LSTM是一种特殊的RNN，它具有避免消失梯度问题和学习长期依赖关系的机制。它仍然能够学习短期依赖，因此被命名为“长期-短期记忆”。