缩放的微服务实例需要更新1

Question

我有一个独特的问题，试图看看什么是最好的实现这一点。

• 我有一个有50万行的表。每一行代表业务实体，我需要从internet上获取有关该实体的信息，然后异步地在表上更新。(这个过程大约需要2到3分钟)。
• 我无法用微服务的一个实例有效地更新所有这些行。所以计划将其扩展到多个实例
• 我的微服务实例是异步守护进程，及时获取业务实体1并处理数据&最后将数据更新回表。。这里是我在多个实例之间的问题--如何确保更新过程中没有2个微服务实例与相同的业务实体(同一行)一起工作？我希望实现一个最优的解决方案--微服务--可能不需要在应用层上维护任何状态。

Answer 1

您必须使用外部系统(数据库/缓存)来保存每个实例的信息。

例子：谢洛克.在数据库中创建表或文档，其中存储有关当前锁的信息。

Answer 2

我建议你用一个工人队列。这看起来很适合你的问题。只需将整个数据或数据的id加载到队列一次。那就让消费者消费吧。您可以在这里看到一个清晰的解释，https://www.rabbitmq.com/tutorials/tutorial-two-python.html

​

​