如何在python中运行连续工作人员-实时数据传输？

Question

我有两个不同的python应用程序，它们适合于producer-consumer模型。

1. 一个生产者，用flask框架编写
2. 消费者，openerp v-8.0 (odoo)

我要生产者继续把数据推到队列中。然后，使用者继续从队列中提取数据并进行相应的操作。

为了提供更多的细节，生产者继续检查orders表中是否有新的订单，并将所有所需的数据推送到队列中，以便在使用者中创建相应的订单。

我希望能以每分钟1000个订单的价格来升级这个型号。

我计划使用Amazon的SQS作为队列，因为它的可靠性和长轮询功能(我不知道如何实现长轮询，但我愿意学习)。

所以，我的问题是：

1. 如何添加一个在我的烧瓶应用程序中继续运行并在订单创建后立即推送数据的工作人员？
2. 如何在openerp中运行一个持续从队列中提取的连续工作人员？
3. 有没有比我建议的更好的方法来做到这一点？

谢谢

Answer 1

我认为您可以使用另一种架构来实现这一点。

因为您有一个orders表，即使我不知道这个表使用什么技术，您也可以使用任何CDC或streams模式。

您希望使用SQS，那么我将假设您正在AWS中运行。

使用AWS，您可以创建一个dynamodb流来告诉另一个应用程序您的表中的数据已经更改：https://aws.amazon.com/pt/blogs/database/dynamodb-streams-use-cases-and-design-patterns/

这样，您不需要将生成数据的烧瓶应用程序保存到SQS队列中，只需使用dynamodb流，并使用KCL ()在EC2中运行lambda函数或应用程序来使用流并执行任何您想做的事情。

如果您使用的是不同的数据库技术，则可以使用CDC，这是一种读取数据库操作日志并将此消息发送给事件侦听器(例如Kafka )的技术。