火花J观察者高可用

Question

我有一个独立的星火集群，没有几个节点。我能在动物园管理员那里买到它。我正在使用SparkJ观测者星火-2.0预览，并且我已经用可用的Spark配置了env1.conf文件，如下所示：

spark://<master1>:<port>,<master2>:<port>

一切都很好，所以如果master1关闭了，j观察者就会连接到master2。

• 但是，如果安装j观察者的机器崩溃，会发生什么呢？
• 有没有办法像我用火花做的那样做些什么？在两个机器上有两个j观察者实例，如果其中一个失败，就将机器和动物园管理员分开来管理。
• 还是我需要自己来处理这种情况？

Answer 1

我同意第三种解决办法。我曾经使用过星火观察者，不是在HA，但我正在寻找一个解决方案的时刻。让我告诉你我的看法：

• 如果仅在一台机器上部署了SparkJ观察者，那么在默认情况下，这是一个故障点，以防机器崩溃。
• SparkJ观察者不使用来协调节点(至少在我使用它的时候)，而是使用在Akka框架中实现的参与者模型。
• 我想最好的办法就是自己处理。这里可能有一种方法:简单的方法是在不同的机器上启动多个Spark实例，它们指向相同的数据库和前面的一个代理。现在，这个问题将移动数据库服务器的HA (可能更容易解决)

我建议查查星火观察员github回购，因为他们讨论这个问题。(https://github.com/spark-jobserver/spark-jobserver/issues/42)