flink-conf.yaml中的高可用性.storageDir维护

Question

仅仅使用HA设置hyper就会在高可用性.storageDir指向的目录中生成空子目录，这些目录似乎都是可删除的，除了默认的/blob子目录，它似乎是检查点的占位符？只是让这种超级生产在没有任何维护的情况下发生，就会遇到填满磁盘空间、命中inode限制等问题。删除/压缩高可用性.storageDir(默认情况下设置为/opt/flink/ha/)的方式是什么?只是删除default/blob之外的所有内容、比一段时间以前旧的所有内容，还是...？在flink-conf.yaml中是否有一个HA设置可以启用某些轮换，而不需要这样的维护？

我们已经有一个问题，作业管理器不想启动，因为磁盘空间耗尽，检查点无法写入，但由于zookeeper中写入的信息，它在启动时是预期的，所以我们必须删除该信息。

与HA相关的其他设置包括：

high-availability: zookeeper
high-availability.storageDir: /opt/flink/ha/
high-availability.zookeeper.quorum: zoo-keeper-1.flink.svc:2181,zoo-keeper-2.flink.svc:2181,zoo-keeper-3.flink.svc:2181
high-availability.jobmanager.port: 6123

Answer 1

听起来有点像你遇到了https://issues.apache.org/jira/browse/FLINK-11107，这是最近在Flink 1.8.1中修复的。

希望这能有所帮助。

康斯坦丁