在Kafka streams作业中执行同步数据库查询或restful调用是一种好的做法吗？

Question

我使用Kafka streams来处理实时数据，在Kafka streams任务中，我需要访问MySQL来查询数据，并且需要调用另一个restful服务。

所有的操作都是同步的。

我担心同步调用会降低streams任务的处理能力。

这是一个好的实践吗？或者有什么好主意来做这件事？

Answer 1

一个更好的方法是将你的MySQL表流到Kafka中，并访问那里的数据。这样做的好处是可以将streams应用程序与MySQL数据库解耦。如果你将来离开了MySQL，只要数据仍然写到卡夫卡主题的任何地方，你的streams应用程序就不会受到影响。如果只是将配置存储在MySQL中，您甚至可以采用一些人使用Kafka作为主要数据存储的模式(使用日志压缩，以永久保留数据)。