堆叠LSTM层

Question

有人能告诉我那些堆叠的LSTM层之间的区别吗？

第一图像在这个问题中给出，第二图像在这篇文章中给出。到目前为止，我所了解的关于堆叠LSTM层的知识是基于第二张图像的。当您构建LSTM层时，其中一个层(即h^{1}_{l}, l=..., t-1, t, t+1...)的输出成为其他层的输入，这称为堆栈。在叠层LSTM中，每个LSTM层输出一个向量序列，这些向量将用作后续LSTM层的输入。然而，在第一图像中，输入变量再次被输入到第二层。有人能告诉我，像第一张图像中给出的那样，堆叠LSTM层是否有什么问题？

Answer 1

你是正确的，“堆叠LSTM”的意思是把层之上的一个-另一个，在你的第二个图像。

第一张图片是“双向LSTM”(BiLSTM)，我们可以从两个方面分析一个序列中的一个点(例如句子中的一个单词)。我们关心这一点的背景。

我所知道的最常见的例子是NLP。在这里，我们想知道一个词在空白中的表现，它是如何在其他词之间找到的。如果我们有完整的句子，我们可以看前面的单词和单词后面的单词。在这种情况下，我们可以使用双向LSTM来处理相反方向的序列，这是您的第一个图表所显示的。

让我们玩一个游戏，然后说你需要猜一下这段文字片段中缺少的单词：

我要复习一下__________ ..。

会是什么？“文章”、"iPad“、”空中图像“？

以下是解决办法：

我要复习一篇文章..。

很难做到这一点--也许是不可能的！好吧，如果你有一些背景的话，也许就不会了。不如我给你两面的片段：

我需要为明天的报纸复习一本________。

一个BiLSTM将从双方得到句子，从而让它看到更多的上下文来理解每个单词。

看看在这篇文章，它最终得到了双向网络。这是一个类似于你的问题有几个很好的答案。

在时间序列数据中，例如来自IoT设备或股票市场的设备读数，使用这样的双向模型是没有意义的，因为我们将违反当时的信息流，即我们不能使用来自未来的信息来帮助预测现在。在文本分析、录音或子网交通流的网络分析中，这都不是问题。