基于keras的图像序列预测

Question

最近我和keras玩得很开心，我想知道如何处理这个问题。

我有一个100张图片的序列。它们是连续100天的雷达地图的每日图像。我想预测下一天的图像。

这些图像可以解释为n×m维(不是正方形)的矩阵。

这是否适用于lstm nn？你将如何处理这个问题？

感谢你分享你的想法！

Answer 1

这个问题已经通过生成式对抗串行网络(GAN)和RNN得到了解决，并取得了相当大的成功。

Facebook AI Research here介绍了一种使用GANs的相当成功的方法，它使用了多尺度生成器。基本上，您以不同的比例对图像进行采样，然后预测该特定较低分辨率的下一帧。然后，使用上采样的预测帧和下一个更高分辨率的原始帧，预测该更高比例的下一帧，该过程继续进行。多尺度聚合有助于防止模糊，并保留细节。你可以找到代码here

最近的一种方法使用自动编码器和GANs的组合，基本上是变分编码器递归地将整个视频流压缩到潜在空间中，并且您有不同的网络来预测流量和来自潜在空间表示的下一帧。然后，它将下一帧与来自预测流的信息进行融合。您可以阅读论文here以了解详细信息。

来自康奈尔大学的另一种方法，在没有GANs的情况下做到了这一点。这相当复杂，但简单地说，它们使用堆叠的LSTM，并将错误信号传播到更多的LSTM层，这些层的工作是预测下一帧的错误。这是paper

也有其他方法，但这些方法似乎被广泛引用，并且有在线代码可用。