如何设置数据同步微服务与消息队列

Question

我目前正在构建一个系统(类似SaaS)，它与微服务和更大的服务(由于各种限制)一起运行，将由多个客户(例如多个帐户)使用，核心系统的一部分需要来自其他系统(例如客户端系统)的数据在核心系统数据库中。我将通过拥有一个同步微服务来管理这一点，该服务将在设定的时间内调用其他系统API并处理数据，将其应用到核心数据库中，并将状态中的任何特定更改标记为消息队列，以便其他服务随后进行处理。

我的核心问题是，如果我有多个具有多个同步作业和多个同步服务(例如2+同步服务应用程序)的客户端，我将如何管理这些任务，以便两个同步不同时运行，服务都在混合客户端系统上运行等等。总的来说，目标是能够轻松地进行扩展。

到目前为止，我提出的选择是：

1. 使用基本的cron作业并将同步服务设置为单个客户端(无法轻松缩放)
2. 使用另一个服务将项放入MQ中，用于同步服务来获取它(另一个服务无法缩放)
3. 使用AWS系统(如云监视)将MQ和多个同步服务从队列中推入

以前有人想过这个问题吗？什么是好的选择或建议？

技术依赖的答案是很好的，但是服务是建立在Node.js上并使用mySQL数据库的。

Answer 1

其中一种方法是，计时器作业将数据放入消息队列，队列中有多个侦听器(基于某些id进行分区)，并且通过增加侦听器进行扩展。

大多数情况下，这应该就足够了。