从mysql到mongo数据库的数据调度问题

Question

我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好

我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。

最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从MySQL binlog读取的替代方案，我们可以在途中根据需要合并MySQL表，并将其存储在Mongo中

Table 1
  Col11
  Col12
  Col13
  Col14
  Col15

表2 Col21 Col22 Col23 Col24 Col25

Mongo集合

  Col11
  Col12
  Col13
  Col14
  Col15 
  Col21
  Col22
  Col23
  Col24
  Col25

Answer 1

一个选项可以是Kafka Connect，用于将数据从MySQL移动到Kafka，然后从Kafka移动到您的MongoDB。

第1步:使用 将数据从MySQL移动到Kafka

Kafka Connect JDBC源连接器允许您使用JDBC驱动程序将数据从任何关系数据库导入到Apache Kafka®主题中。

第2步:使用 将数据从Kafka移动到MongoDB

轻松地将Kafka主题中的事件直接映射和持久化到MongoDB集合。将Kakfa主题中的事件直接摄取到MongoDB集合中，将数据公开给您的服务，以便进行高效的查询、丰富和分析。

请注意，MongoDB连接器可用作源连接器或宿连接器。在您的例子中，您需要接收器连接器，用于将数据从Kafka主题移动到MongoDB中的目标表。