递归神经网络的类型

Question

我有个关于RNN类型的问题。伊恩·古德费罗在他的著作“深度学习”中写道：

递归神经网络的一些重要设计模式的例子包括：·递归网络，它在每个时间步骤产生一个输出，并且在隐藏的单元之间有经常性的连接，如图10.3所示。·经常性网络，在每个时间步骤产生一个输出，并且只具有从一个时间步骤的输出到下一个时间步骤的隐藏单元的经常性连接，如图10.4所示:在隐藏单元之间具有经常性连接的经常性网络，读取整个序列，然后产生一个输出，如图10.5所示。第10章.序列建模:递归和递归网

接下来，我阅读了Andrej http://karpathy.github.io/2015/05/21/rnn-effectiveness/关于RNN的文章，以及他对关系模型等rnn体系结构的描述。

我的问题是:伊恩·古德费罗对RNN类型的描述等于Andrej Karpathy？如果不是这样的话，这种描述之间的区别是什么？

Answer 1

他们匹配得相当好。

第一个古德费罗的描述是卡帕的最后一个“多对多”的形象。每个时间步骤的输出是基于先前的网络隐藏状态和输入。

第三个古德费罗的描述直接对应于卡帕的“多对一”的形象。该模型读取整个输入序列，然后生成一个输出。

唯一的区别是，古德费罗的第二次描述并没有被卡帕的形象所捕捉。这是我对描述所述内容的解释。