MapReduce架构

Question

我已经创建了一个表示MapReduce框架如何工作的图。有没有人能验证一下这是不是一个准确的陈述？

​

​

对于此示例，我们还对此图中所示的系统组件感兴趣。

Answer 1

MapReduce架构在执行作业的各种不同阶段工作。以下是运行MapReduce应用程序的不同阶段：

1. 第一阶段涉及到用户将其数据写入HDFS以进行进一步处理。这些数据以块的形式存储在HDFS中的不同节点上。
2. 现在客户端提交其MapReduce作业。
3. 然后，资源管理器启动一个容器来启动应用程序主控程序。
4. 应用程序主控向资源管理器发送资源请求。资源管理器
5. 现在通过节点管理器在从节点上分配容器。现在，在容器中执行了containers.
6. The作业中的
7. 应用程序主启动各自的任务。
8. 处理完成后，资源管理器将重新分配资源。

​

​

来源：Cloudera

Answer 2

JobTracker、TaskTracker和MasterNode在使用YARN的Hadoop 2+中并不是真正的东西。作业将提交给ResourceManager，，后者将在其中一个NodeManager上创建ApplicationMaster。

“从节点”通常也是你的DataNodes，因为它是Hadoop的核心租户--将处理转移到数据上。

“接收数据”箭头是双向的，从NameNode到DataNode没有箭头。1)从NameNode获取文件位置，然后将位置发回给客户端。2)客户端(即在DataNode上运行的NodeManager进程或“从节点”)将直接从DataNodes本身读取-数据节点不直接知道其他从节点存在的位置。

也就是说，HDFS和纱线通常都是同一个“泡泡”的一部分，所以你所拥有的"HDFS“标签的圆圈应该真的围绕着所有东西。