缩小Dataproc工作程序启动盘

Question

由于规划过程中的一些混乱，我们最终得到了几个运行23TB驱动器的工作节点，这些驱动器现在几乎完全未使用(我们将数据保存在外部存储上)。由于驱动器目前只是在浪费钱，我们需要将它们缩小到一个合理的大小。使用weresync，我可以完全克隆驱动器到一个小得多的驱动器，但显然你不能在GCE中交换引导驱动器(这对我来说没有任何意义)。有没有办法实现这一点，或者我需要使用图像创建新的工作人员？如果是，是否需要将其他配置复制到新实例以使其自动加入集群？

Answer 1

Dataproc不支持在运行的群集中更改VM配置。

我建议您删除旧的集群，并创建一个具有您需要的工作磁盘大小的新集群。

Answer 2

我最终创建了一个带有GCP支持的工单- https://issuetracker.google.com/issues/120865687 -来获得这个问题的官方答案。目前这是不可能的，但应该很快(在几个月内)在测试版GCP CLI中可用，可能还会在以后的数据中出现在控制台中。继续对群集进行完全重建。