当只使用一台计算机/节点时，分区会提高性能吗？

Question

我知道分区将通过在集群中的不同节点上执行并行任务来提高性能。但是，当我只使用一台计算机时，分区会帮助我获得更好的性能吗？我用的是火花和斯卡拉。

Answer 1

是的，这会提高性能。

确保您的CPU有多个核心。

当您使用本地火花会话时，请确保使用多个核心：

如果

• local用一个线程在本地运行，或者local[N]用N个线程在本地运行，我建议您使用local[*]

并确保您的RDD/Dataset有多个分区，我很好的分区数量是内核数量的2到4倍。

Answer 2

Apache火花也是垂直的(CPU，Ram，.)和水平(节点)。我假设，您的计算机/节点有一个具有多个核心的CPU。然后并行地处理这些分区。