在启用HA的情况下，纱线上的闪烁会在尝试恢复时使所有RMs崩溃

Question

我试图让Flink (1.2.0)在启用了HA的Hadoop集群(CDH 5.10.0)上工作，但当我通过终止活动RM来测试它时，它会导致整个集群宕机。

我已经在flink-conf.yml中配置了Flink的HA

high-availability: zookeeper
high-availability.zookeeper.quorum: zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
high-availability.zookeeper.storageDir: hdfs:///tmp/flink/recovery
high-availability.zookeeper.path.root: /flink
high-availability.zookeeper.path.namespace: /cluster1
yarn.application-attempts: 2

然后，我使用yarn-session.sh -n 2 -nm "Flink HA test"运行一个flink会话

当我尝试使用kill -9杀死活动RM时，YARN正确地切换到备用RM，并且我可以在一分钟内看到作为ACCEPTED的应用程序，但是很快备用RM崩溃抛出以下异常：

2017-03-08 12:29:36,997 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error in handling event type APP_ATTEMPT_ADDED to the scheduler
java.lang.NullPointerException
    at org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerApplicationAttempt.transferStateFromPreviousAttempt(SchedulerApplicationAttempt.java:601)
    at org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.addApplicationAttempt(FairScheduler.java:698)
    at org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.handle(FairScheduler.java:1303)
    at org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler.handle(FairScheduler.java:123)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$SchedulerEventDispatcher$EventProcessor.run(ResourceManager.java:702)
    at java.lang.Thread.run(Thread.java:745)

如果我没有配置Flink的HA，问题就会消失。

你知道可能是什么引起的吗？

Answer 1

正如评论中所讨论的：

这可能是由于配置错误导致的纱线问题。

鉴于该问题只出现在非常旧的版本中(已经不支持)，可能不可能添加更多细节。