如何用Detectron2在视频上运行密度

Question

我想知道是否可以在带有densepose的mp4上运行detectron2注释。

在projects文件夹中，可以使用applynet.py运行densepose，但这只适用于图像。我试着用这个通讯

d demo/

python demo.py --config-file ../configs/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml \
  --video-input video.mp4 \
  [--other-options]
  --opts MODEL.WEIGHTS detectron2://COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x/137849600/model_final_f10217.pkl

使用densepose权重和注释，但是Detectron2给出了这个错误：

Non-existent config key: MODEL.DENSEPOSE_ON

我知道DensePose视频是存在的，但是它已经过时了，因为它使用的是与pytorch分离的caffe2。

这是可能的，还是你不能在视频上运行？

Answer 1

最简单的方法是使用类似ffmpeg的东西将视频分割成帧，然后在每个帧上运行detectron2。