Kafka Consumer - JMX属性

Question

我在端口8081上的kafka代理上启用了JMX。当我在jConsole中查看MBean属性时，我只看到kafka.consumer的以下内容-

kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchRequestRateAndTimeMs,clientId=ReplicaFetcherThread-2-413

kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchResponseSize,clientId=ReplicaFetcherThread-0-413

但是，在here中根据Kafka Consumer Metrics确定的其他参数都不是由JMX发出的。

Kafka版本# 0.8.2.1

我特别感兴趣的是- kafka.consumer:type=ConsumerFetcherManager,name=MaxLag,clientId=([-.\w]+)

有什么想法吗？

Answer 1

您正在侦听的JMX端口是代理端口。但是jvm :的Mbean是消费者kafka.consumer指标。因此，如果您有另一个使用主题JVM，则可以看到kafka.consumer Mbeans。

Answer 2

ConsumerLag是an overloaded term in Kafka，它可以代表：

1. Consumer's指标：计算出消费者当前日志偏移量与生产者当前日志偏移量的差值。如果您使用的是基于Java/Scala的消费者(例如pykafka consumer doesn't export metrics):

)，您可以在JMX bean下找到它

- kafka `v0.8.2.x`:

kafka.consumer:type= ConsumerFetcherManager，name=MaxLag，clientId=(-.\w+)

- kafka v0.9+：

kafka.consumer:type=consumer-fetch-manager-metrics，客户端id=(-.w+)

消费者lag通常存储在ZooKeeper (Kafka <= v0.8)中，更新版本的Kafka有专门的主题__consumer_offsets来存储每个消费者的lag。有一些工具(例如kafka-manager)可以通过使用此主题中的消息并计算滞后来计算滞后。在kafka-manager中，您必须为每个集群启用此功能：

调查消费者信息(不建议大量消费者使用)

1. Broker's指标：表示分区领导者与其追随者之间的偏移量差异。您可以在JMX bean下找到此指标：

kafka.server:type=FetcherLagMetrics、name=ConsumerLag、clientId=(-.\w+)、topic=(-.\w+)、partition=(0-9+)

Answer 3

这可能有助于在0.8中找到它，但我目前运行的是Kafka 0.10代理和消费者。在使用控制台使用者时，我将jconsole指向此使用者，并在MBeans选项卡上找到：kafka.consumer-> consumer-fetcher-manager-metric -> consumer-1 -> Attributes -> records-max-lag。