如何精确地将本地Hadoop配置模拟为GCP数据流程

Question

Dataproc是一种基于GCP的Apache-Hadoop。我需要一些关于集群配置的术语的明确性。假设我使用本地Hadoop集群配置了1个namenode和n个数据节点。我是否需要在Dataproc上有1个主节点和n个工作节点与之对应。我还想利用Dataproc的自动缩放功能。在将本地Hadoop基础架构迁移到GCP Dataproc时，我们是否有任何需要遵循的标准检查清单？

Answer 1

不要求Dataproc集群与本地配置完全匹配:事实上，Dataproc的优势之一是您可以根据需要重新调整集群，以匹配工作负载。

GCP有一个可用于将本地Hadoop迁移到Dataproc的detailed guide。