客户端流视频的服务器端实时分析

Question

我正在尝试建立一个系统，用于实时分析服务器上的视频流从客户端使用WebRTC。

这是我目前的想法。我会从客户端捕获网络摄像头视频流并发送它(使用H.264压缩？)发送到我的服务器。

在我的服务器上，我会将流和每个原始帧接收到我的C++库中进行分析。

然后，分析的输出(要绘制的框坐标)将通过WebRTC或单独的WebSocket连接发送回客户端。

我一直在网上寻找，找到了像Kurento和Mediasoup这样的开源媒体服务器，但是，既然我只需要读取流(不需要分派到其他客户端)，我真的需要使用现有的服务器吗？或者，我可以自己构建它吗?如果是，从哪里开始？

一般来说，我对WebRTC和视频流的世界是相当陌生的，所以我想知道，这整个事情听起来对不对？

Answer 1

这取决于你的需求的实时性。如果你想要30-60fps和接近实时的速度，通过RTP将图像发送到服务器是最好的解决方案。然后你需要像抖动缓冲器，解包等东西，视频解码器，等等。

如果您只需要每秒一张图像，那么从画布上抓取它并通过Websockets或HTTP POST发送它会更容易。https://webrtchacks.com/webrtc-cv-tensorflow/展示了如何在Python语言中做到这一点。