集成递归神经网络的方法是什么？

Question

在预测期间，将多个深度网络集成在一起以改善统计数据通常是相当容易的。这通常和获取输出预测并将它们平均在一起一样简单。在递归神经网络中，这不是那么简单，因为我们是在对一系列输出进行预测。

我们如何集成递归神经网络？您是否使用多个模型预测每个时间步的输出，对输出进行平均，然后使用平均值中的预测反馈到每个单独的模型中(漂洗，重复)？这似乎很难在普通的ML库中实现(我使用的是Tensorflow)。

Answer 1

您所说的似乎可以概括为RNN的“解码策略”。例如：

1. 您可以从单个模型中选择概率最高的单词，并将其作为下一个输入(argmax解码)。
2. 您可以从输出概率分布中采样一个单词，并将其用作下一个输入。
3. 您可以执行波束搜索，其中保留k个最佳候选解码，并选择另一个波束作为下一个输入。
4. 与您提出的类似，您可以使用多个模型或一些其他更复杂的解码策略来选择下一个输入。

它的实现绝对不是微不足道的，但也不是太糟糕。在Tensorflow中，您可以使用raw_rnn函数来完成此操作。基本上，它就像一个while循环，您可以使用一个任意复杂的函数来选择RNN的输出和下一个输入。