问有没有可能让Spark在一个单独的执行器上运行整个任务集？
EN

Stack Overflow用户

提问于 2018-03-08 22:07:55

回答 1查看 136关注 0票数 0

我在本地集群上运行单个spark作业(1 master-2 2workers/executors)。

据我所知，作业的所有阶段都被拆分成任务。每个阶段都有自己的任务集。此TaskSet的每个任务都将在本地群集的一个执行器上调度。

我想让Spark的TaskSetManager在同一个(本地)执行器上调度TaskSet(单个阶段)的所有任务，但我还没有想出如何做到这一点。

谢谢，吉姆

发布于 2018-03-25 02:29:07

提交作业时，请将执行者的数量作为一个提供

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49175088

复制

相似问题

问有没有可能让Spark在一个单独的执行器上运行整个任务集？EN