在纱线中设置作业优先级

Question

我的集群(HDP)正在使用YARN容量调度程序。nameNode UI显示版本2.7.1.2.4.3.30。

我正在尝试将配置单元脚本中的作业优先级设置为高：

set mapreduce.job.priority=HIGH; 

然而，我看不到资源的分配有什么不同。我在yarn-site.xml中看不到属性yarn.scheduler.fair.preemption。此外，Tez的等价性质是什么？

Answer 1

因为您使用的是Hadoop2.7.1，所以必须在yarn-site.xml中显式设置yarn.scheduler.fair.preemption。如果不将其设置为true，将导致优先级排序不起作用，因为默认值为yarn.scheduler.fair.preemption=false。

关于你关于Tez的问题，没有相应的东西。你可能想要阅读更多关于抢占是如何工作的here！