将KsqlDB用作HIstorian DB

Question

我想做一个历史数据库，记录和检索卡夫卡主题的数据到一个永久的数据库。

我正在尝试使用KsqlDB来做这件事，我尝试使用来自ksql的表和流，但随着Kafka主题的消亡(保留期的延长)，它消失了。我的问题是“是否有可能使用ksqldb作为卡夫卡的历史学家？”谢谢。

Answer 1

Kafka数据当然可以是永久的(log.retention.ms=-1或cleanup.policy=compact)，尽管你不需要ksqlDB来实现它。默认情况下，表应该无限期可用，因为它将由压缩的Kafka主题支持

据传闻，“纽约时报”将其所有文章存储在一个单独划分的卡夫卡主题中，以便按时间对文章进行排序。

请注意，ksqlDB是一个构建在Kafka Streams上的处理引擎。这不是一个数据库。