Dataproc上的Zookeeper

Question

我需要一个关于在Dataproc上设置Zookeeper集成的建议。手头的场景是一个项目，它将有3个长期运行的Dataproc集群，以及每个作业动态创建的许多临时集群。

我希望至少有7名动物园管理员组成法定人数，但还没有找到任何如何做到这一点的文档。

我知道我可以将Zookeeper组件添加到每个Dataproc集群，但是如何创建由多个集群组成的集成呢？

Answer 1

正如您所提到的，您可以在Zookeeper component的帮助下在Dataproc上激活Zookeeper。

每个带有Zookeepr组件的Dataproc集群都将初始化一个独立的3节点Zookeeper集群。

如果你想配置一个跨越多个Dataproc集群的Zookeeper集群，那么你需要手动完成。应该可以使用带有zookeeper:前缀的Dataproc cluster properties在单个Zookeeper集群中的多个Dataproc集群上编排Zookeeper节点。