快速测量背压

Question

作为与其他流媒体平台的比较，我正在使用Flink进行一些测试。测试的数据源是一个卡夫卡主题，有着不同的流量，我试图弄清楚flink是否能跟上。

有没有办法知道flink给卡夫卡消费者增加了多少“反压力”？它跟得上吗？

Answer 1

Apache项目提供了一些工具，可以将主题和消费者信息从动物园管理员那里获取。在这种情况下，您可以使用ConsumerOffsetChecker。

工具要输出的是“偏移滞后”，即分区中的最新偏移量与当前使用者的位置之间的差异。

请注意，Flink正在更新“动物园管理员”中的偏移量，大致按检查点间隔的频率进行更新，因此您看到的信息不能100%准确，因为它没有考虑到飞行中的记录。但它会给你一个非常好的想法，无论是背压正在增加，还是一切都进展顺利。

顺便说一句，如果您体验到Flink无法在生成时使用来自主题的数据，请向邮件列表中的Flink开发人员寻求帮助。在我最近做的一些实验中，我发现Flink的Kafka使用者可以以非常高的吞吐量阅读。

Answer 2

在kafka_2.11-0.10.0.0中，不再推荐使用者偏移检查器，kafka-使用者组按照组进行偏移量检查。

就我的情况而言，我没有看到卡夫卡--消费者团体--就flinkkafkaconsumer而言，有任何一个群体在上市。

对于flink-kafka-consumer group.id来说，它对偏移量的监控作用不大。您可以在flink kafka consumer groupId not working上找到更多关于这个的信息。