我在无头模式下运行Kafka和KSQLDB服务器。在KSQLDB服务器上,我只部署了几个查询来进行以下实验:
CREATE STREAM pageviews_original (viewtime bigint, userid varchar, pageid varchar) WITH (kafka_topic='pageviews-ksql', PARTITIONS=1, REPLICAS=3, value_format='DELIMITED');
CREATE TABLE users_original (registertime BIGINT, gender VARCHAR, regionid VARCHAR, userid VARCHAR) WITH (kafka_topic='users-ksql', PARTITIONS=1, REPLICAS=3, value_format='JSON', key = 'userid');
CREATE STREAM pageviews_enriched AS SELECT users_original.userid AS userid, pageid, regionid, gender FROM pageviews_original LEFT JOIN users_original ON pageviews_original.userid = users_original.userid;我的问题是,KSQLDB服务器现在不断地记录这个信息消息:
“未为分区_confluent-ksql-ksql-01query_CSAS_PAGEVIEWS_ENRICHED_0-Join-repartition-0".找到已提交的偏移量
它以每秒10次左右的速度在日志中发送垃圾信息。相应的主题是空的。
这意味着什么,我该如何解决呢?
发布于 2020-05-22 11:33:29
当流线程(执行流处理的线程)被分配一个主题分区开始处理时,日志消息将被输出。在开始处理之前,它首先检查是否存在已提交的偏移量,以便它可以从前一个线程完成的位置开始处理。
在创建流或表时,这样的日志行是正常的,因为以前没有任何线程处理分区,因此没有提交任何偏移。
如果尚未通过分区处理数据,您可能还会在重新启动服务器时看到这样的日志行,或者在使用者组重新平衡期间(下面将详细介绍)。
在以前处理数据的地方,您可能会看到类似的日志行,但包括上次处理的偏移量的详细信息。
什么是不正常的是经常看到他们!这表明出了一些问题。
最有可能的原因是消费者群体的再平衡。
使用者组处理将负载分散到所有可用流处理线程,跨所有群集ksqlDB服务器。当从集群中添加或删除服务器时,组调整以确保正在处理所有主题分区,并且工作均匀地分布在所有实例中。有一些可配置的超时用于检测死的使用者。
这可能是因为您的使用者组不稳定,这会导致不断的再平衡,从而导致这些日志消息。即使这样,我也不会期望每秒有10s的日志行,除非有许多活动的查询或大量的主题分区。
如果存在使用者组重新平衡,那么您应该在日志中看到这一点,尽管您可能需要调整日志记录级别来查看它们。
网络上有很多关于不稳定消费者群体的原因和解决办法的信息。
https://stackoverflow.com/questions/61918046
复制相似问题