为什么spark num-executors不等于纱线容器？

Question

根据[Spark on YARN resource manager: Relation between YARN Containers and Spark Executors，纱线容器的数量应该等于spark应用程序的执行器数量。然而，在一次运行中，我确实看到Spark-UI环境选项卡中显示的num-executors是60个，但yarn中显示的容器数量只有37个。我使用的是spark 2.2，spark.dynamicAllocation.enabled设置为false。我使用Azure-HDinsight集群。有人能解释这个吗？

Answer 1

Spark-UI还显示了一些已终止的执行器。它们可能已被Spark动态执行或纱线抢占移除。通常，您可以判断executors是否还活着。

它们不同的另一个原因是Spark driver。在“纱线集群”模式下，驱动程序也占用纱线容器。所以在这种情况下，你也会看到+1容器的差异。