RDBMS数据的Kafka+Spark解决方案

Question

我当前的项目是以MainFrames为数据库，以DB2为数据库的。我们有70个数据库，每个数据库都有近60个表。我们的架构师提出了一个使用Kafka与星火流一起处理数据的方案。Kafka在读取数据的RDBMS表方面有多好？我们是使用Kafka直接从表中读取数据，还是有其他方法将RDBMS中的数据导入Kafka？如果有更好的解决方案，你的建议会有很大帮助。

Answer 1

不直接从数据库读取，它会产生额外的负载。I建议两种方法。

1. 将新数据发送到数据库和Kafka，或者将其发送给Kafka，然后进行处理。
2. 从数据库中读取数据，提前写入日志(我知道MySQL可以使用麦克斯韦尔，但不确定DB2)，并将其发送给Kafka进行进一步处理。

您可以根据需要使用星光流或卡夫卡流。