纱线应用程序管理器和应用程序管理器的区别？

Question

我理解MRv1 works.Now我是如何试图理解MRv2的..YARN中的应用程序管理器和应用程序管理器有什么不同？

Answer 1

术语应用程序主程序和应用程序管理器通常可以互换使用。实际上，应用程序主机是请求、启动和监控应用程序特定资源的主要容器，而应用程序管理器是ResourceManager中的一个组件。下面提供了有关应用程序管理器的更多详细信息。

ApplicationsManager负责维护已提交申请的集合。在提交应用程序后，它首先验证应用程序的规范，并拒绝任何为其ApplicationMaster请求不可满足的资源的应用程序(即集群中没有节点有足够的资源来运行ApplicationMaster本身)。然后，它可以确保没有其他应用程序已经使用相同的应用程序ID提交-这种情况可能是由错误或恶意的客户端造成的。最后，它将接受的应用程序转发给调度器。此组件还负责记录和管理已完成的应用程序一段时间，然后将其从ResourceManager的内存中完全清除。当应用程序完成时，它会在守护程序的日志文件中放置一个ApplicationSummary。最后，ApplicationsManager在应用程序完成后很长一段时间内都会保留已完成应用程序的缓存，以支持用户对应用程序数据的请求(通过web或命令行)。配置属性yarn.resourcemanager.max-completed-applications控制ResourceManager在任何时刻记住的此类已完成应用程序的最大数量。缓存是先进先出的列表，最旧的应用程序被移出，以容纳新完成的应用程序。

​

​

Reference: Hadoop YARN Book

Answer 2

这里的应用程序指的是分配给框架的单个作业。

​

​

当客户端提交给资源管理器时，应用程序管理器负责接受或拒绝该应用程序。

当资源管理器将单个应用程序分配给节点管理器时，应用程序主机负责单个应用程序的执行。

这有意义吗？

Answer 3

要理解这个概念，我们需要理解Hadoop中通过YARN提交的作业/应用程序的完整流程。

在我们跳到执行流程之前，我们需要理解一些关键概念：

关键概念：

1. Yarn由资源管理器和节点管理器组成
2. 在主节点上只有一个资源管理器运行在每个数据节点上
3. 将有多个节点管理器运行在每个数据节点上
4. 资源管理器负责执行任何映射管理器处理提交给它们的单个任务/进程
5. 请注意，YARN是一个通用框架，它不仅仅用于执行Map Reduce作业。它可以用来执行任何应用程序，比如Java ()的Application.

现在，让我们通过YARN讨论一下工作/申请流程

资源管理器客户端向application/process

• This提交任务。资源管理器提交的任务可以是映射减少任务，也可以是资源管理器挑库的任何其他Manager

• Since任务/应用产品资源管理器可以有多个任务/应用产品提交给

• ，因此资源管理器将检查调度算法和可用能力以查看提交的任务/应用程序是否可以使用资源管理器发现它可以启动新提交的任务/应用程序，它会分配一个容器。容器是启动Job/Application

• It所需的一组资源(中央处理器、内存等)检查哪个节点可以接受此请求，一旦找到节点，它就会联系同一个

的相应节点管理器。然后，节点管理器将实际分配执行作业/应用程序所需的资源，然后在Container

• Application中启动应用程序主进程主进程是作业/应用程序执行的主进程。请注意，Application Master是特定于框架的实现。Map Reduce框架有自己的应用程序实现，Master.

• Application主程序将检查是否需要额外的资源或容器来执行作业/应用程序。这是当我们提交Map Reduce作业时的情况，其中需要多个Mapper和Reduce来完成作业。

• 如果需要额外的资源，则应用程序主机将与资源管理器协商以分配资源/容器。应用程序主机负责执行和监控应用程序主机向资源管理器发出的application/job.

• The请求的各个任务，该请求称为资源请求。该请求包含执行单个任务所需的资源和位置约束。位置约束是必需的，因为任务需要在尽可能靠近数据的地方运行，以节省网络带宽。12作为对资源请求的响应，资源管理器将在所选节点上派生一个节点管理器。然后，Node Manager将为容器分配资源。在该容器中，任务将运行。此任务称为应用进程。

• 如果有多个映射器，则会有多个应用进程(在一个容器中)在多个节点上运行。它们中的每一个都会将它们的热拍发送到它们的应用程序主进程。这就是应用程序主机监控单个任务的方式。launches.

• Application主机还将向资源管理器发送心跳信号，以指示作业/应用程序的状态execution.

• Once任何应用程序执行完成，则该应用程序的应用程序主机将为de-registered.

我希望这能说明一些问题。