递归神经网络(LSTM)批量大小和输入

Question

我在Keras工作以建立LSTM模型。我理解设置STATEFUL=FALSE意味着在训练模型时将不同的批处理为独立的。

假设我想建立一个模型，用6周的每小时温度观测来预测明天的24小时温度。我一直使用的批量大小为24，这意味着每天的培训数据是独立使用的LSTM时，培训。但这意味着我不允许RNN在几天内获得更长的相关性，对吗？那么，我应该使用批处理大小的6*7*24=168吗？这种更大的批量是否允许LSTM在6周的培训期间获得更长的范围相关性？

其次，我一直使用前一天的观测值$y_{(t-24)}$作为当前一天温度(同期) $y_t$的预测值。这是一种有效的方法，还是LSTM将寻找的长期相关性的冗余？

Answer 1

批次大小与系列长度不同。批次大小指的是观察的数量，通常是在执行小批量随机梯度下降时定义的。

如果您正在做N个小型批处理SGD，您需要确保您的网络的输入是一个Nx168张量。批次大小通常为32-128次观察.

你的第二个问题，方法很好，只是不一样。看看哪个更好。