首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Kafka KSQLDB服务器日志不断地“没有为分区找到提交的偏移量”。

问Kafka KSQLDB服务器日志不断地“没有为分区找到提交的偏移量”。
EN

Stack Overflow用户
提问于 2020-05-20 16:24:27
回答 1查看 11.7K关注 0票数 3

我在无头模式下运行Kafka和KSQLDB服务器。在KSQLDB服务器上,我只部署了几个查询来进行以下实验:

代码语言:javascript
复制
CREATE STREAM pageviews_original (viewtime bigint, userid varchar, pageid varchar) WITH (kafka_topic='pageviews-ksql', PARTITIONS=1, REPLICAS=3, value_format='DELIMITED');

CREATE TABLE users_original (registertime BIGINT, gender VARCHAR, regionid VARCHAR, userid VARCHAR) WITH (kafka_topic='users-ksql', PARTITIONS=1, REPLICAS=3, value_format='JSON', key = 'userid');

CREATE STREAM pageviews_enriched AS SELECT users_original.userid AS userid, pageid, regionid, gender FROM pageviews_original LEFT JOIN users_original ON pageviews_original.userid = users_original.userid;

我的问题是,KSQLDB服务器现在不断地记录这个信息消息:

“未为分区_confluent-ksql-ksql-01query_CSAS_PAGEVIEWS_ENRICHED_0-Join-repartition-0".找到已提交的偏移量

它以每秒10次左右的速度在日志中发送垃圾信息。相应的主题是空的。

这意味着什么,我该如何解决呢?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-05-22 11:33:29

当流线程(执行流处理的线程)被分配一个主题分区开始处理时,日志消息将被输出。在开始处理之前,它首先检查是否存在已提交的偏移量,以便它可以从前一个线程完成的位置开始处理。

在创建流或表时,这样的日志行是正常的,因为以前没有任何线程处理分区,因此没有提交任何偏移。

如果尚未通过分区处理数据,您可能还会在重新启动服务器时看到这样的日志行,或者在使用者组重新平衡期间(下面将详细介绍)。

在以前处理数据的地方,您可能会看到类似的日志行,但包括上次处理的偏移量的详细信息。

什么是不正常的是经常看到他们!这表明出了一些问题。

最有可能的原因是消费者群体的再平衡。

使用者组处理将负载分散到所有可用流处理线程,跨所有群集ksqlDB服务器。当从集群中添加或删除服务器时,组调整以确保正在处理所有主题分区,并且工作均匀地分布在所有实例中。有一些可配置的超时用于检测死的使用者。

这可能是因为您的使用者组不稳定,这会导致不断的再平衡,从而导致这些日志消息。即使这样,我也不会期望每秒有10s的日志行,除非有许多活动的查询或大量的主题分区。

如果存在使用者组重新平衡,那么您应该在日志中看到这一点,尽管您可能需要调整日志记录级别来查看它们。

网络上有很多关于不稳定消费者群体的原因和解决办法的信息。

票数 13
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61918046

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档