使用开源工具监控Kafka

Question

有没有开源工具来监控融合的Kafka？大多数可用的开源工具都是特定于Apache Kafka的，但不是针对Confluent Kafka的。

我们希望至少监控连接器、流和集群的运行状况

Answer 1

在Confluent平台中分发的Kafka是Apache Kafka。真的没有“合流的卡夫卡”这回事。任何使用最新版本的Apache Kafka (包括Kafka Connect和Kafka Streams)的工具都可以使用Confluent Open Source包含的相同版本的Kafka。

Confluent 3.3包括Apache Kafka 0.11

Confluent 3.2包含Apache Kafka 0.10.2

Confluent 3.1包含Apache Kafka 0.10.1

Confluent 3.0包含Apache Kafka 0.10.0

Confluent 2.0包含Apache Kafka 0.9

Confluent 1.0包含Apache Kafka 0.8.2

注意: Confluent Enterprise包含自己的监控和管理GUI，称为Control Center。控制中心是一个独立的进程，因此Apache Kafka仍然与开源版本相同。

Answer 2

您可以使用更新版本的KafkaOffsetMonitor。它支持SSL/TLS和Kerbros。也使用Kafka 1.1.0库。

Answer 3

您应该能够使用kafka-monitor来监控集群的运行状况，使用Burrow和KafkaOffsetMonitor来监控消费者应用程序的延迟。此外，你绝对应该使用像jmxtrans这样的东西来收集你的Kafka broker指标。