Tensorflow Android视频支持

Question

Android上的Tensorflow是否支持本地保存的视频？提供的演示与摄像头紧密耦合，将其移植到视频中工作至少不是微不足道和耗时的。它的任务是处理正在直播的流中的原始帧。

Answer 1

您必须使用MediaMetadataRetriever或其他适当的工具获取视频中的帧的位图，然后将它们传递给tensorflow库以进行图像识别。

目前在tensorflow AFAIK中还没有对"video“流本身的支持，甚至demo也会截取相机预览的屏幕截图来识别。

如果你真的想识别视频流本身，那么你必须构建一个自己的模型。

否则，分析视频的过程将如下所示，假设你已经有了你的图形和标签文件，并且不需要播放视频(如果你想在分析过程中显示视频，那么你应该在你的活动中实现surfaceview或textureview )：

MediaMetadataRetriever

• extract size

• patternize初始化

1. 针对所需帧使用tensorflow和加载所需视频使用getFrameAtTime将位图缩放到适当的Tensor位图并运行推理方法(如果复制以使用演示中的TensorflowImageClassifier.class，则可以直接传递位图)
2. 存储结果并循环到另一帧(2~4)

这是一个比较简单的整体过程，但我希望你能从中得到一些提示。