首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何手动提交Kafka Stream?

问如何手动提交Kafka Stream?
EN

Stack Overflow用户
提问于 2017-04-15 01:19:35
回答 1查看 13.6K关注 0票数 21

有没有办法手动提交Kafka Stream?

通常使用KafkaConsumer时,我会做如下操作:

代码语言:javascript
复制
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(100);
    for (ConsumerRecord<String, String> record : records){
       // process records
    }
   consumer.commitAsync();
}

在这里我手动调用commit。我没有看到类似的KStream应用程序接口。

EN

回答 1

Stack Overflow用户

发布于 2017-04-15 03:53:11

提交是由Streams内部处理的,并且是完全自动的,因此通常没有理由手动提交。请注意,Streams对此的处理方式与消费者自动提交不同--事实上,对内部使用的消费者禁用了自动提交,并且Streams“手动”管理提交。原因是,提交只能在处理过程中的某些点发生,以确保数据不会丢失(关于更新状态和刷新结果有许多内部依赖关系)。

对于提交频率更高的情况,可以通过StreamsConfig参数commit.interval.ms来减少提交间隔。

然而,通过低级处理器API间接地手动提交是可能的。您可以使用通过init()方法提供的context对象来调用context#commit()。注意,这只是一个“对流的请求”,要求尽快提交--它不是直接发出提交。

票数 36
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43416178

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档