spark-jobserver管理多个EMR集群

Question

我有一个由几个(持久的和临时的) EMR Spark集群组成的生产环境。

我希望使用spark-jobserver的一个实例来管理此环境的一般作业master，并且能够在我POST /jobs时指定目标JAR，而不是永久地在配置文件中(使用master = "local[4]"配置密钥)。

显然，我更喜欢在一台独立的机器上运行spark-jobserver，而不是在任何masters上。

这有没有可能呢？

Answer 1

您可以编写SparkMasterProvider

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/spark.jobserver/util/SparkMasterProvider.scala

这里有一个复杂的例子https://github.com/spark-jobserver/jobserver-cassandra/blob/master/src/main/scala/spark.jobserver/masterLocators/dse/DseSparkMasterProvider.scala

我认为你所要做的就是编写一个将config输入作为spark master返回的代码，这样你就可以将它作为job config的一部分进行传递。