纱线上的火花:如何防止多个火花作业被调度

Question

与火花在纱线-我没有办法防止并行的工作被安排。我有我的架构设置来做纯粹的批处理。

我需要这样做的原因如下：

• 资源约束
• UserCache的火花增长非常快。运行多个作业会导致缓存空间激增。

理想情况下，我想看看是否有一个配置可以确保任何时候在Yarn上只运行一个作业。

Answer 1

您可以运行create队列，该队列只能承载一个应用程序主程序，并运行该队列上的所有Spark作业。因此，如果一个星火作业正在运行，则另一个作业将被接受，但在运行执行完成之前它们不会被调度和运行.

Answer 2

最终找到了解决方案--在纱线文档中:yarn.Scheder.ability.max--应用程序必须设置为1，而不是10000。