线程池(在驱动程序上)和执行器内核之间的关系是什么？

Question

我试图使用scala的Futures运行一个进程，以并行运行某些操作。下面是一个示例代码片段

import scala.util._
import scala.concurrent._
import scala.concurrent.ExecutionContext.Implicits.global

object ConcurrentContext {
  def def appMain(args: Array[String]) = {
// configure spark
val spark = SparkSession
    .builder
    .appName("parjobs")
    .getOrCreate()

val pool = Executors.newFixedThreadPool(5)
   // create the implicit ExecutionContext based on our thread pool
implicit val xc = ExecutionContext.fromExecutorService(pool)

 /** Wraps a code block in a Future and returns the future */
def executeAsync[T](f: => T): Future[T] = {
Future(f)
}
} 

我的问题是：-

1. 如果我将executor -core值设置为4，它控制每个executor JVM的线程数，并在应用程序中创建一个5的线程池，那么哪个线程池优先？
2. 如果我没有显式地设置线程池，那么默认的ExecutionContext将基于进程启动的机器上的所有核心创建一个默认线程池(进程将是驱动程序)，在这种情况下，执行器-核心属性将如何影响？
3. 如果线程池值优先于executor-core，如果我使用默认值，那么每个JVM是否有许多线程(等于CPU核心)？

Answer 1

如果我将executor -core值设置为4，它控制每个executor JVM的线程数，并在应用程序中创建一个5的线程池。

当您执行星火应用程序时，您有驱动程序和一个或多个执行者。为了简单起见，让我们假设您只有一个执行者。

你有4个CPU给执行者。

有多少任务可以与4个CPU并行运行？

驱动程序在拥有5个线程池的Spark应用程序中运行。为了简单起见，让我们假设所有5都被使用了。

你能安排多少火种的工作?确切地说是5次！

每个星火作业都可以有一个或多个阶段，有一个或多个分区来使用任务来处理。为了简单起见，让我们假设所有5个星火作业都有一个阶段和一个分区(这是非常不可能的，但只是为了让您了解Spark的工作方式应该是好的)。

记住，一个分区正是一个任务。

星火应用程序将提交多少个任务?5个作业，每个任务有5个任务。

在5 CPU执行器上执行所有5个任务需要多长时间?1个时隙(不管“时隙”可能意味着什么)。

这是执行器内核/CPU与驱动程序上5个线程池之间的关系。

如果我没有显式地设置线程池，那么默认的ExecutionContext将基于进程启动的机器上的所有核心创建一个默认线程池(进程将是驱动程序)，在这种情况下，执行器-核心属性将如何影响？

我认为上述部分也回答了这个问题。

如果线程池值优先于executor-core，如果我使用默认值，那么每个JVM是否有许多线程(等于CPU核心)？

它也是。对，是这样?