在驱动程序上或在执行器上运行使用spark执行的查询。

Question

我很好奇，因为当我们使用spark -e运行查询时，查询在哪里执行。

spark-sql -e "SELECT count(*) FROM table"

而且，当我们计算时，这个动作是否只在驾驶员身上调用？

Answer 1

行动意味着做些什么。该操作来自驱动程序，工作分发给执行程序针对分区运行任务的Worker。

所以，计数发生在执行者身上。将用于计数分区的执行器的部分计数结果发送到-并在驱动程序上进行聚合。