问Apache如何管理MQTT消费者补偿
EN

Stack Overflow用户

提问于 2022-01-24 03:33:55

回答 2查看 329关注 0票数 0

我使用MQTT使用者作为flink作业的数据源。我想知道如何将数据偏移保存到检查点，以确保在flink集群发生故障后重新启动时不会丢失任何数据。我看到了很多介绍apache如何管理kafka消费者补偿的文章。有谁知道apache是否有自己的功能来管理MQTT使用者？谢谢。

发布于 2022-01-24 08:59:13

您应该阅读文档的状态后端部分。和检查站区。

启用检查点时，托管状态将持久化，以确保在发生故障时保持一致的恢复。在检查点期间持久化状态的位置取决于所选的检查点存储。

票数 0

发布于 2022-01-24 13:11:18

如果您有一个MQTT使用者，您应该确保它使用数据源API。您可以在https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/sources/上阅读这方面的内容--其中还包括如何与检查点集成。您还可以阅读FLIP 27 https://cwiki.apache.org/confluence/display/FLINK/FLIP-27%3A+Refactor+Source+Interface中的详细信息。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/70828750

复制

相似问题

问Apache如何管理MQTT消费者补偿EN