RCNN预测图像序列(视频帧)？

Question

在随后的工作中，作者应用卷积递归神经网络(RNN)来预测二维图像序列表示的微结构的时空演化。特别是，他们应用某种3D-CNN和LSTM体系结构来预测晶体的生长：

在上面的图片中，我们可以从一个测试用例中看到RNN预测(P)和地面真相(G)，其中RNN基于10个输入帧输出50帧。

现在，这对我来说是新的东西: RCNN如何能够生成图像作为输出？根据我(有限的)知识，唯一能够在输出中生成新图像的结构是生成对抗性网络，如GANs和卷积编解码神经网络(如VAE)，但显然作者通过将3D-Conv和RNN单元叠加在一起来实现这些结果。

你见过这种架构吗？

Answer 1

提交人在其补充信息中提供了这一图像：

你可以看到他们的解释。卷积层将图像编码成某种潜在的空间表示。RNN在这个潜在空间中工作，在先前观测的基础上生成一个新的隐空间表示。对于任何潜在空间表示，解码器可以将其转换为图像。

因此，RCNN基本上使用与您提到的模型类型相同的过程(GANs，卷积编码器-译码器)；有一个解码器将从潜在空间到图像空间的表示。