Cloud支持高可用性吗？

Question

我担心，为Google Cloud Dataproc集群拥有一个主节点可能会引入一个单一的故障点。我希望我的集群在发生意外的主故障时具有(更多)的弹性。

是否可以配置我的cluster集群，从而使用某种形式的高可用性来降低单个主故障的风险？理想情况下，我还希望使用标准方法来实现纱线/Hadoop/HDFS的高可用性，这样就不需要定制软件(或必要的软件)。

Answer 1

具有内置于服务中的高可用性(HA)模式。在HA模式下，Cloud集群支持HDFS高可用性和纱线高利用率，这两个组件都被配置为允许不间断的纱线和HDFS操作，尽管存在任何单节点故障/重新启动。

关于模式，有几件重要的事情要记住：

• 医管局功能目前正处于测试阶段。
• 所有节点都使用阿帕奇动物园管理员进行故障转移。
• 通过Cloud提交的作业不被视为“高可用性”，仍然将在运行相应作业驱动程序的主节点失败时终止。

有关Cloud模式的更多信息，请参见见文件。这些文档还提供了关于如何在Jobs /API之外向集群提交工作的说明。