Hadoop中的作业和任务调度

Question

当我读到关于延迟公平调度在这张幻灯片上的文章时，我对Hadoop中的“作业调度”和“任务调度”这两个术语并不感到困惑。

如果我的假设是错误的，请纠正我：

1. 默认调度程序、容量调度程序和公平调度程序仅在用户调度多个作业时才在作业级别有效。如果系统中只有一个任务，他们就不会发挥任何作用。这些调度算法构成了“作业调度”的基础。
2. 每个作业可以有多个映射和减少任务，它们是如何分配给每台机器的？单个作业的任务安排如何？“任务调度”的依据是什么？

Answer 1

在公平调度程序的情况下，当有单个作业正在运行时，该作业将使用整个集群。当提交其他作业时，释放出来的任务插槽分配给新作业，因此每个作业获得的CPU时间大致相同。

与形成作业队列的默认Hadoop调度程序不同，它允许短作业在合理的时间内完成，而不需要长作业。在多个用户之间共享集群也是一种简单的方法。公平共享也可以与工作优先级一起工作--优先级被用作权重来确定每一项工作所获得的总计算时间的比例。

CapacityScheduler旨在允许共享一个大型集群，同时为每个组织提供最低容量保证。核心思想是Hadoop集群中的可用资源在基于计算需求的多个组织之间进行划分，这些组织共同为集群提供资金。另一个好处是，一个组织可以获得其他组织没有使用的任何过剩能力。这以成本效益的方式为组织提供了弹性。