利用深度学习分析视频

Question

有没有做过用深度学习技术分析视频帧序列的工作？

我的意思是“分析”，我的意思是，为了分类或预测某件事而记住它们(例如，考虑到视频的前10帧，模型就能得出某种结论)。

Answer 1

2016年，麻省理工学院CSAIL小组的一些人“在预测视觉方面取得了重大突破，开发了一种能够比以往任何时候更准确地预测交互作用的算法。”他们写了一篇文章，教学机器预测未来。

他们做了一个很棒的视频，它展示了他们的结果。他们在YouTube视频和电视节目上训练了一种算法来预测两个人何时握手、拥抱、亲吻或打五下。

研究人员卡尔·冯德里克( Carl )、哈米德·皮尔西亚瓦什( Hamed )和安东尼奥·托拉尔巴( Antonio )发表了一篇题为“用未标记视频预测视觉表示”的论文。

贾文成有一个在TensorFlow中实现的基于LSTM的模型的存储库。

有关预测行为或活动的最新论文列表，请参阅此列表。

Answer 2

是的有。实际上，在序列上使用NNs是深度学习的一个重要部分，其中最强大的NNs来自于这个领域的研究。它们被称为递归神经网络或RNN。我建议您阅读这的文章或观看这斯坦福的讲座，以了解更多关于它们的信息。

特别是RNN的一个变体，即所谓的LSTM，它代表长期内存，使网络能够记忆早期的输入。

根据您的解释，我建议您有一个多对一的任务，您输入许多帧，并输出一个类。这些类型的任务，您输入图像最常解决的组合使用CNN和RNN。您可以阅读这的文章，以获得更多的洞察力，对这种技术。