使用代码扩展spark worker节点

Question

在开始处理之前，我希望扩展spark集群，使所有工作节点都启动并运行。这个问题是因为工作节点的自动伸缩不会在加载时立即发生，并且会导致工作节点崩溃。这个集群有32个节点，但只有4个节点超载并崩溃，所以我要做的是在python笔记本的开头编写几行代码，这将启动其余的节点，并让24个节点启动并运行，然后进行实际的数据处理。这可以使用代码实现吗？请给我建议。

Answer 1

通常，自动缩放适用于交互式工作负载。我很少看到它在工作中带来好处，尽管市场营销很好地将其作为一种节省成本的功能进行了销售。

您可以使用Databricks作业创建自动群集。在新的自动群集上运行作业并在作业完成时终止群集。

如果你知道什么时候向上伸缩比自动伸缩更好，那么你可以使用这个resize接口：https://docs.databricks.com/dev-tools/api/latest/clusters.html#resize