容量调度器

Question

Capacity Scheduler允许沿着组织线共享Hadoop集群，从而为每个组织分配整个集群的特定容量。我想知道，如果大数据到来，那么分配给某个队列的容量会自动改变吗？

Answer 1

在容量调度器配置中，我们定义了yarn.scheduler.capacity.root.<queue name>.capacity和yarn.scheduler.capacity.root.<queue name>.maximum-capacity

yarn.scheduler.capacity.root.<queue name>.capacity是队列的容量，而yarn.scheduler.capacity.root.<queue name>.maximum-capacity是该队列中所有作业/用户可以占用的最大资源

如果大数据到来，则分配给该队列容量将自动改变。

不会，队列大小是固定的，不会根据输入数据量自动变化。您可以在capacity-scheduler.xml中手动更改它，然后通过yarn rmadmin -refreshQueues刷新队列

您可以编写一个脚本，该脚本将根据输入数据量更新(和刷新)队列容量，但我不建议这样做。