如何将(Kafka)登录到数据库(Cassandra或Hive)？

Question

如何将从生产者到消费者的日志存储到数据库中，我在下载0.9.0.0发行版和after之后遵循下面的步骤。

1. $ bin/zookeeper-server-start.sh config/zookeeper.properties &
2. $ bin/kafka-server-start.sh config/server.properties
3. $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic fast-messages

$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic summary-markers

1. $ bin/kafka-topics.sh --list --zookeeper localhost:2181
2. $ cd .. $ mvn package
3. 负责制片
4. 启动消费者

Answer 1

下载0.9.0.0发行版并卸载它。

这是卡夫卡非常古老的版本..。您所使用的所有步骤在较新的版本上都是完全相同的，并且可能会更稳定。

Kafka不将其数据(日志)存储在数据库中。

如果您想将生成的数据发送到另一个系统中，则包含的工具(从Kafka 0.10开始)称为Kafka Connect，您可以找到已经存在于HDFS/Hive和Cassandra中的连接器。

但是你可以自己写信给这些系统的消费者，卡夫卡就是不想把这个打包在盒子里。