如何在Mesos Flink集群中实现JobManager高可用性？

Question

Flink官方文档为单机版和Yarn Flink集群提供了jobmanager高可用性解决方案。但是，使用Mesos Flink集群应该如何实现高可用性？

我了解到Flink依赖于马拉松来带来失败的JobManager，但它也有一个问题:每次作业管理器重新启动时，作业都会被重新部署。这对于任务关键型作业是不可接受的。是否有解决此问题的方法？或者是否有计划在Mesos模式下使用Flink来支持完整的高可用性？

Answer 1

我在Flink中使用了这个配置，它确实适用于两个mesos主机和一个从机：

high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: 0.0.0.0:2181,10.32.0.3:2181,10.32.0.4:2181,10.32.0.5:2181
fs.hdfs.hadoopconf: /opt/hadoop/etc/hadoop
fs.hdfs.hdfssite: /opt/hadoop/etc/hadoop/hdfs-site.xml
recovery.zookeeper.path.mesos-workers: /mesos-workers
env.java.home: /opt/java
mesos.master: 10.32.0.2:5050,10.32.0.3:5050

另外，我在Marathon中使用了这个JSON文件：

{
 "id": "flink",
 "cmd": "/home/flink-1.7.2/bin/mesos-appmaster.sh -Djobmanager.heap.mb=1024 -Djobmanager.rpc.port=6123 -Drest.port=8081 -Dmesos.resourcemanager.tasks.mem=1024 -Dtaskmanager.heap.mb=1024 -Dtaskmanager.numberOfTaskSlots=2 -Dparallelism.default=2 -Dmesos.resourcemanager.tasks.cpus=1",
"cpus": 1.0,
"mem": 1024,
 }

我希望它是有用的。