对于流应用程序,我使用带有Kafka 0.10.0的SCDF on YARN 1.0.2.RELEASE。
当我取消部署一个流,然后重新部署它时,似乎有时它会从当前的Kafka主题偏移量继续,而有时它会从最旧的偏移量开始。
在哪里配置可以在重新部署流时获得可预测的行为(例如,当前偏移量、最新偏移量、最旧偏移量)?
有没有办法期望不同的流有不同的行为?
发布于 2017-05-23 17:47:11
重新部署流时,需要使用spring.cloud.stream.kafka.bindings.<channelName>.consumer.startOffset to latest。默认行为是使用earliest。您可以查看this文档以了解更多信息。
https://stackoverflow.com/questions/44109125
复制相似问题