Scala中的Spark -设置CPU数量

Question

我试图限制我的CPU使用率，但我得到了这个奇怪的结果:当我试图限制到3个CPU时，我仍然得到一个* master的sparck上下文：

​

​

Answer 1

在没有更多信息的情况下，我猜测您是在spark shell内部执行此操作。这意味着主节点已经设置好并将被使用。注意，该调用是getOrCreate，这意味着它只会在无法获取已有内容的情况下创建。

Answer 2

这是因为您已经有了一个SparkSession对象。

如果线程上下文中有活动会话，则将使用此会话。您的notebook有一个附加的会话，这就是getOrCreate返回现有SparkSession的原因。

查看您的日志，您可能会有：

Using an existing SparkSession; some configuration may not take effect.

然后，您可以清理活动会话：

SparkSession.clearActiveSession()

但在笔记本电脑中不建议这样做，因为它可能会在服务器上的其他笔记本电脑中导致错误