我有三个物理节点,每个节点上都安装了码头。我在每个码头上配置了Mesos,马拉松,动物园管理员,Hadoop和Flink。我可以运行Mesos,马拉松,动物园管理员和hadoop,没有任何问题;我还在hdfs中创建了一个文件夹flink。顺便说一下,我配置了高可用的hadoop集群并运行,没有任何问题。但是,当我使用这个JSON文件在马拉松上运行flink时,我会在Mesos中收到失败的任务。错误如下:
应用程序状态关闭MesosSessionClusterEntrypoint失败。诊断java.io.IOException:无法为高度可用的存储(高可用性. storage )创建FileSystem
我的flink配置如下:
env.java.home: /opt/java
jobmanager.rpc.address: 10.32.0.1
high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: 10.32.0.1:2181,10.32.0.2:2181
recovery.zookeeper.path.mesos-workers: /mesos-workers
mesos.master: 10.32.0.1:5050,10.32.0.2:5050你能告诉我如何解决这个问题吗?我必须连接flink到mesos吗?
提前谢谢你。
发布于 2019-05-11 08:50:04
此配置解决了问题:
jobmanager.rpc.address: localhost
high-availability.zookeeper.quorum:
10.32.0.1:2181,10.32.0.2:2181,10.32.0.3:2181
mesos.master: 10.32.0.1:5050,10.32.0.2:5050,10.32.0.3:5050 https://stackoverflow.com/questions/55914238
复制相似问题