如何在nfs文件系统中存储apache检查点

Question

我正在使用Apache 1.10.0从RabbitMQ中提取数据流，现在在内存中使用默认的检查点配置。现在，当任务管理器重新启动时，我需要将状态和检查点存储在文件系统中，所有演示都应该使用“HDFS ://namenode:4000/.”，但是现在我没有HDFS集群，我的Apache Flink运行在kubernetes集群中，如何在文件系统中存储我的检查点？

我阅读了Apache的文档并告诉我它支持：

• 可以重放记录一定时间的持久(或持久)数据源。这些源的例子是持久消息队列(例如Apache、RabbitMQ、Amazon、Google PubSub)或文件系统(例如HDFS、S3、GFS、NFS、Ceph、…)。。
• 状态的持久存储，通常是分布式文件系统(例如HDFS、S3、GFS、NFS、Ceph、…)。

如何配置flink以使用NFS存储检查点和状态？我从实习生那里搜索，找不到关于这个解决方案的任何故事。

Answer 1

要在Flink中使用NFS进行检查点，您应该使用可以从集群中的每个节点访问的检查点目录 URI来指定file: (作业管理器和所有任务管理器都需要使用相同的URI进行访问)。

因此，例如，您可以在每台机器上的/data/flink/checkpoints上挂载NFS卷，然后指定

state.checkpoints.dir: file:///data/flink/checkpoints