Flink TaskManager码头工人群无法恢复

Question

我运行的Flink v1.10与1 JobManager和3个任务经理在码头群，没有动物园管理员。我有一个作业运行，占12个位置，我有3个TM，每20个插槽(总共60个)。经过一些测试，除了一次测试，一切都进行得很顺利。

因此，测试失败是，如果我手动取消作业，我将有一个侧车重试作业，浏览器控制台上的任务管理器不会恢复，并且会不断减少。

更实际的例子，所以，我有一个作业运行，消耗12个插槽，总共60个。

• 网络控制台给我显示了48个空闲位置和3个TM。
• i手动取消了工作，侧车重新触发了工作，而web控制台显示了36个空闲位置，以及2个TM的
• ，作业输入处于失败状态，直到0时隙空闲，1 TM显示在控制台上。
• 解决方案是缩小和扩大所有3 TM，一切都恢复正常。

这种配置一切正常，如果我删除它，或者缩小或缩小TM，那么工作经理就会恢复，但是如果我取消了这个任务，TM看起来就会失去与JM的连接。

我做错了什么有什么建议吗？

这是我的flink甜点。

env.java.home: /usr/local/openjdk-8
env.log.dir: /opt/flink/
env.log.file: /var/log/flink.log
jobmanager.rpc.address: jobmanager1
jobmanager.rpc.port: 6123

jobmanager.heap.size: 2048m

#taskmanager.memory.process.size: 2048m

#env.java.opts.taskmanager: 2048m
taskmanager.memory.flink.size: 2048m

taskmanager.numberOfTaskSlots: 20

parallelism.default: 2


#==============================================================================
# High Availability
#==============================================================================

# The high-availability mode. Possible options are 'NONE' or 'zookeeper'.
#
high-availability: NONE

#high-availability.storageDir: file:///tmp/storageDir/flink_tmp/
#high-availability.zookeeper.quorum: zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
#high-availability.zookeeper.quorum:


# ACL options are based on https://zookeeper.apache.org/doc/r3.1.2/zookeeperProgrammers.html#sc_BuiltinACLSchemes
# high-availability.zookeeper.client.acl: open

#==============================================================================
# Fault tolerance and checkpointing
#==============================================================================

# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints
# state.savepoints.dir: hdfs://namenode-host:port/flink-checkpoints
# state.backend.incremental: false

jobmanager.execution.failover-strategy: region

#==============================================================================
# Rest & web frontend
#==============================================================================

rest.port: 8080
rest.address: jobmanager1
# rest.bind-port: 8081
rest.bind-address: 0.0.0.0
#web.submit.enable: false

#==============================================================================
# Advanced
#==============================================================================

# io.tmp.dirs: /tmp
# classloader.resolve-order: child-first

# taskmanager.memory.network.fraction: 0.1
# taskmanager.memory.network.min: 64mb
# taskmanager.memory.network.max: 1gb

#==============================================================================
# Flink Cluster Security Configuration
#==============================================================================

# security.kerberos.login.use-ticket-cache: false
# security.kerberos.login.keytab: /mobi.me/flink/conf/smart3.keytab
# security.kerberos.login.principal: smart_user

# security.kerberos.login.contexts: Client,KafkaClient

#==============================================================================
# ZK Security Configuration
#==============================================================================

# zookeeper.sasl.login-context-name: Client

#==============================================================================
# HistoryServer
#==============================================================================

#jobmanager.archive.fs.dir: hdfs:///completed-jobs/
#historyserver.web.address: 0.0.0.0
#historyserver.web.port: 8082
#historyserver.archive.fs.dir: hdfs:///completed-jobs/
#historyserver.archive.fs.refresh-interval: 10000

blob.server.port: 6124
query.server.port: 6125
taskmanager.rpc.port: 6122
high-availability.jobmanager.port: 50010
zookeeper.sasl.disable: true
#recovery.mode: zookeeper
#recovery.zookeeper.quorum: zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
#recovery.zookeeper.path.root: /
#recovery.zookeeper.path.namespace: /cluster_one

Answer 1

解决方案是增加flink- size .size中的元空间大小。

Br，André