首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将消费者偏移量从Kafka流重置到开头

问将消费者偏移量从Kafka流重置到开头
EN

Stack Overflow用户
提问于 2017-07-09 18:16:30
回答 2查看 2.4K关注 0票数 2

我正在使用Kafka streams,并希望将一些从Java到开头的消费者偏移量重置。KafkaConsumer.seekToBeginning(...)听起来是正确的选择,但我使用的是Kafka Streams:

代码语言:javascript
复制
KafkaStreams streams = new KafkaStreams(builder, props);
...
streams.start();

我猜,根据我定义的具体流管道,这将在引擎盖下创建几个消费者。我能接触到这些吗?或者,是否有其他方法可以通过编程方式重置偏移量?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2017-07-10 07:31:46

由于您使用的是Kafka Streams,因此您不仅需要重置消费者偏移量,还需要重置Streams内部状态存储。

幸运的是,Kafka提供了一个Streams应用程序重置工具。

请参阅https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Streams+Application+Reset+Tool

票数 3
EN

Stack Overflow用户

发布于 2017-11-24 17:00:21

在Hans Jespersens回答的基础上,我成功地使用此代码在Java代码中执行脚本的操作:

代码语言:javascript
复制
import kafka.tools.StreamsResetter;

StreamsResetter resetter = new StreamsResetter();
String[] args = {"--application-id", APP_ID, "--bootstrap-servers", KAFKA_SERVERS, "--input-topics", TEST_TOPIC_NAME, "--zookeeper", ZOOKEEPER};
resetter.run(args);

这个类是我在maven中导入的kafka核心库的一部分,使用:

代码语言:javascript
复制
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.12</artifactId>
        <version>${kafka.version}</version>
    </dependency>
票数 8
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44995313

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档