Map Reduce插槽定义

Question

我正在成为cloudera Hadoop管理员的路上。从我开始，我听说了很多关于在Hadoop集群中计算每台机器的插槽，比如定义Map插槽和Reduce插槽的数量。

我在互联网上搜索了一段时间，以获得Map Reduce插槽的Noob定义，但没有找到。

通过PDF解释Map Reduce的配置，我真的很生气。

请解释一下，当涉及到集群的Machine中的一个计算插槽时，它到底是什么意思。

Answer 1

在map-reduce v.1中，mapreduce.tasktracker.map.tasks.maximum和mapreduce.tasktracker.reduce.tasks.maximum用于配置map插槽的数量，并在mapred-site.xml中相应地减少插槽。

从map-reduce v.2 (YARN)开始，容器是一个更通用的术语，而不是插槽，容器表示在节点下可以并行运行的最大任务数，无论是Map任务、Reduce任务还是应用程序主任务(在YARN中)。

Answer 2

通常，它取决于CPU和内存

在out集群中，我们为具有32Core、64G内存机器设置了20个map插槽和15个reduce插槽

1.大约一个插槽需要一个cpu核心

2.贴图槽的数量应该比reduce多一点

Answer 3

在MRV1中，每台机器都有固定数量的专门用于映射和还原的插槽。一般来说，每台机器都配置了4:1的map:reducer比例。

从逻辑上讲，

• 将读取大量数据(Map)，并将它们压缩到较小的集合(Reduce)。

在MRV2中，容器的概念出现了，任何容器都可以运行map/reducer/shell脚本。