我们能用Keras做视频数据增强吗？

Question

是否可以使用Keras在数据集上应用视频数据增强？我知道这是图像的一种可能，就像这里解释的那样，但我没有找到与视频剪辑相当的东西。

我的数据集包含500帧的视频剪辑。当我在一个框架上应用一个转换时，我需要对下面的499帧进行相同的转换。

Answer 1

如果您想在keras中使用ImageDataGenerator类，我认为您需要在每个框架中手动使用转换函数。例如

gen = ImageDataGenerator()
for i in range(length_video):
     new_frames[i] = gen.apply_transform(frames[i], {'ty':100, 'theta':10})

另外，你也可以试试这个https://github.com/okankop/vidaug --它是用来增强视频的

Answer 2

您可以使用来自vidaug的这里库。

您还可以使用scipy.ndimage应用一些简单的多维操作。这是指向多维图像处理包的链接。