卡夫卡流实时视频处理

Question

我们正在寻找大容量的实时视频流。

目前，我们正在使用Kafka Python，它通过主题和mongo发送uuid来存储大型数据和uuid。

在消费者端，我们根据获取的相关帧数据fr mongo接收uuid，然后传递到处理。

但是整个管道需要更多的时间

生产者方

捕获框

生成uuid

在mongo中存储uuid和帧数组

发送卡夫卡主题的uuid

消费者方

获取MSG.value作为uuid

使用uuid从mongo获取帧数组数据

收到后删除记录

将框架传递给我们的过程函数

我有疑问，有没有其他方法来减少这条管道的时间？

捕获帧大小>18

因此，使用cv2.imencode png表单对其进行字节编码

所以在那之后减少到5毫巴

Answer 1

您可以尝试不通过Kafka发送生成的uuid。在这种情况下，您可以生成随机标识符并将其分配给帧，并将该标识符从生产者发送到消费者。同时，在后台线程中，您的生成器可以进行一些压缩，生成uuid和数组，并将其存储在标识符上。

因此，一旦使用者获得标识符，它就可以通过使用接收到的标识符查询db来查找uuid，如果已经生成了uuid。

我们只需将大任务卸载到后台，并在Kafka中发送一个标识符，以使其快速完成。