数据库如何对集群进行自动缩放

Question

我有一个databricks集群设置，自动扩展到12个节点。我经常观察到databricks从6到8，然后是8到11，然后是11到14节点。

所以我的查询- 1。为什么它要一次添加2-3个节点。为什么会触发自动缩放，因为我看到集群上没有多少作业是活动的或繁重的处理。CPU使用率很低。3.自动缩放时，为什么会把笔记本留在等待状态？

1. 为什么要花8到10分钟的时间才能自动缩放？

谢谢

当不需要数据块时，我试图研究为什么数据块是自动缩放集群的原因。

Answer 1

创建群集时，可以为群集提供固定数量的工作人员，也可以为群集提供最小和最大的工作人员数。

当您提供固定大小的群集时，Databricks确保您的群集有指定数量的工作人员。当您为员工数量提供范围时，Databricks将选择运行作业所需的适当数量的员工。这被称为自动标号。

使用自动标度，Databricks会动态地重新分配员工，以考虑到工作的特点。管道的某些部分可能比其他部分在计算上要求更高，而且Databricks会在工作的这些阶段自动添加额外的工作人员(并在不再需要时移除它们)。

自动标度使实现高集群利用率变得更容易，因为您不需要提供集群来匹配工作负载。这尤其适用于需求随时间变化的工作负载(比如在一天中探索数据集)，但也可以应用于一次较短的工作负载，其配置需求未知。因此，自动标度提供了的两个优点：

• 与固定大小的配置不足的集群相比，工作负载可以运行得更快。
• 与静态集群相比，自动标度集群可以降低总体成本。

Databricks提供了两种类型的集群节点自动标度：标准和优化。

自动标度的行为

自动标度的行为是不同的，这取决于它是优化的还是标准的，以及是应用于交互式集群还是应用于作业集群。

优化

1. 从最小到最大的两个步骤。
2. 即使集群不是空闲的，也可以通过查看混乱文件状态来缩小。
3. 根据当前节点的百分比进行缩小。
4. 在工作集群中，如果群集在过去40秒内未得到充分利用，则缩小其规模。
5. 在交互式集群中，如果集群在过去150秒内未得到充分利用，则缩小规模。

标准

1. 从添加4个节点开始。此后，按指数增长，但可以采取许多步骤达到最大值。
2. 只有在集群完全空闲且在过去10分钟内未得到充分利用时，才会缩小。
3. 以指数方式缩小，从1个节点开始。