如何用RNN建立时间依赖矩阵？

Question

我在做视频分类。比方说，我只是暂时对视频进行了分采样。因此，对于每个子样本，我设计了一些特性。假设我可以用二维矩阵来表示这些特征。

因此，矩阵的这些值是时间依赖的。因此，对于每个视频，我有一组矩阵，它们是时间依赖的。

因此，我需要使用RNN来建模这些与时间相关的矩阵值，并表示视频。这种表示应该将视频分类到类中。换句话说，RNN应该能够根据这些依赖于时间的矩阵值将视频分类到类中。

我需要知道，RNN有可能吗？这会是一个好的做法吗？如果是这样的话，任何人都能提供给我的指南是什么？什么是好的图书馆可以使用？什么是好的教程？谢谢。

Answer 1

您可以将视频的图像平平，并将其用作序列的一个元素。

您将不得不在RNN下放置一个convnet，很可能是为了得到合理的结果。

因此，您将映像输入到convnet，然后将激活映射扁平，并将其传递给RNN单元。

https://stackoverflow.com/a/36992625/447599