Google新集群生成失败。

Question

我一直试图使用Web和以下命令创建一个新集群：gcloud dataproc clusters create cluster-2 --zone europe-west1-b --master-machine-type n1-standard-1 --master-boot-disk-size 50 --num-workers 2 --worker-machine-type n1-standard-1 --worker-boot-disk-size 50 --project <project-name>

集群由一个主节点和两个工作节点组成，它是一个相当小的集群。虚拟机生成并正常运行。但是，群集生成失败。

集群生成过程中显示的错误消息将我指向文件“dataproc-startup script_output”。我找到的唯一错误消息是该文件中的Error: "--max_wait_seconds" does not look like a port。

我拥有的VM数量是5，可以创建并成功运行单个机器。最近(几天前)，我能够创建一个没有问题的集群。但是，该集群现在已被删除。一个人能创建多少个集群有限制吗？

Answer 1

总结以电子邮件方式单独跟进的调查结果，一般情况如下：

1. 失败需要超过10分钟，而且
2. 您已经更改了项目网络设置

那么一个潜在的罪魁祸首是网络配置错误。一般来说，Dataproc集群需要完全的内部IP网络访问，而且通常在Google网络中有一个防火墙规则，它可以打开所有的udp:1-65535,tcp:1-65535,icmp，但仅限于内部的IP“源IP范围”。

在这种情况下，由于一个小的错误/错误配置，项目确实缺少了一个必要的规则，其中一个default-allow-internal规则意外地用一个完整的/32掩码限制了源IP范围。

如果您没有进行高级VPN配置或跨项目联网，那么重新添加一个简单的10.0.0.0/8 udp:1-65535;tcp:1-65535;icmp防火墙规则应该可以。如果您正在进行更高级的网络连接，您可能希望将源范围限制得更具体一些，例如，如果您的网络的IPv4范围是10.128.0.0/16，那么您应该设置您的“允许内部”防火墙来使用该10.128.0.0/16源范围。

通过云控制台添加防火墙规则为选择适用的源IP范围提供了方便的方法，特别是当您有杂乱无章的子网需要手动枚举时。