所以我在我们的网络上安装了一个apache集群。我已经完成了如下所示的配置。这个母版(JobManager)启动,并通过ssh向所有从站发送开始命令。我可以看到,任务管理器是在主节点启动后运行的。
所有节点上的配置文件:
jobmanager.rpc.address: flmaster
jobmanager.rpc.port: 6123
jobmanager.heap.mb: 1024
taskmanager.heap.mb: 2048
taskmanager.numberOfTaskSlots: 1
taskmanager.memory.preallocate: false
parallelism.default: 1
jobmanager.web.port: 8081
taskmanager.tmp.dirs: /apps/storage/runtime/flink/workspace
recovery.mode: zookeeper
recovery.zookeeper.quorum:zk1:2181, zk2:2181, zk3:2181
recovery.zookeeper.storageDir: /apps/runtime/flink/recovery
env.java.home: /apps/java/然后,我在config文件夹中有一个名为从文件,其中包含一个从节点列表。
flSlave1
flSlave2
flSlave3然后我就开始了
../bin/start-cluster.sh这将为所有从节点打开ssh会话,并启动任务管理器。我可以在ps ax \ grep java中看到这一点
我可以在flMaster上打开WebUI :8081在WebUI上,我可以看到从节点数是0。我没有任务经理。作为一个测试,我启动了wordcount.jar作业,它告诉我它不能运行作业,因为没有打开的插槽。
/apps/flink/bin/flink run /apps/flink/examples/batch/WordCount.jar答复:
07/20/2016 13:19:01 Job execution switched to status FAILING.
org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Not enough free slots available to run the job.*我想如果没有任务管理器/从节点,就不会有插槽。
有人见过这个问题吗?
发布于 2018-05-30 08:39:32
使用完全限定的主机名而不是短名称。例如hostname.xyx.com,而不仅仅是主机名。或者你也可以尝试使用ip地址。
发布于 2017-08-17 09:17:01
尝试在作业管理器计算机rpc端口上执行telnet操作。任务经理通过rpc与作业经理交谈。因此,请检查网络设置是否能够访问作业管理器和任务管理器的rpc端口。
还可以检查blob服务器端口。检查任务管理器日志是否能够连接到作业管理器blob服务器。
https://stackoverflow.com/questions/38496029
复制相似问题