有没有办法手动提交Kafka Stream?
通常使用KafkaConsumer时,我会做如下操作:
while (true) {
ConsumerRecords<String, String> records = consumer.poll(100);
for (ConsumerRecord<String, String> record : records){
// process records
}
consumer.commitAsync();
}在这里我手动调用commit。我没有看到类似的KStream应用程序接口。
发布于 2017-04-15 03:53:11
提交是由Streams内部处理的,并且是完全自动的,因此通常没有理由手动提交。请注意,Streams对此的处理方式与消费者自动提交不同--事实上,对内部使用的消费者禁用了自动提交,并且Streams“手动”管理提交。原因是,提交只能在处理过程中的某些点发生,以确保数据不会丢失(关于更新状态和刷新结果有许多内部依赖关系)。
对于提交频率更高的情况,可以通过StreamsConfig参数commit.interval.ms来减少提交间隔。
然而,通过低级处理器API间接地手动提交是可能的。您可以使用通过init()方法提供的context对象来调用context#commit()。注意,这只是一个“对流的请求”,要求尽快提交--它不是直接发出提交。
https://stackoverflow.com/questions/43416178
复制相似问题