mapred-site.xml在使用YARN的Hadoop2中是完全无用的吗

Question

我从许多Hadoop相关页面中发现，在Hadoop2中，许多mapred-site配置不再起作用，而是使用yarn-site.xml。但是如果是这样，为什么还要维护mapred-site.xml呢？

Answer 1

对于hadoopsite.xml，mapred- v2仍然在使用中。您有一个名为mapreduce.framework.name，的新属性，它的值是用于执行MapReduce作业的运行时框架，它可以是本地、经典或纱线之一。如果你使用本地，你的映射器和reducer进程将在同一个JVM中执行，通常你这样做是为了调试目的(只有一个reducer可以在本地运行时启动)。如果你使用经典的传统，v1先生就会行动起来，如果你提到纱线，v2先生也会行动起来。

当你为MapReduce任务使用YARN运行时时，你的映射器和reducer进程将在容器中产生，mapred-site.xml文件可以用来为mapreduce容器指定系统资源(例如内存和v-cpu)。请记住，容器的内存和v-cpu的上限是在yarn-site.xml中设置的。看看mapred-site.xml中的以下属性。

• mapreduce.map.memory.mb
• mapreduce.map.cpu.vcores
• mapreduce.reduce.memory.mb
• mapreduce.reduce.cpu.vcores

mapred-site.xml

yarn-site.xml

Answer 2

mapred-site.xml仍在使用中。在here中查找所有默认值。

在Hadoop V2中寻找here的新属性，以取代不推荐使用的Hadoop V1属性。

下面是几个例子：

​

mapred.map.child.env	mapreduce.map.env
mapred.map.child.java.opts	mapreduce.map.java.opts
mapred.map.child.log.level	mapreduce.map.log.level
mapred.map.max.attempts	mapreduce.map.maxattempts
mapred.map.output.compression.codec	mapreduce.map.output.compress.codec
mapred.mapoutput.key.class	mapreduce.map.output.key.class
mapred.mapoutput.value.class	mapreduce.map.output.value.class
mapred.mapper.regex.group	mapreduce.mapper.regexmapper..group
mapred.mapper.regex	mapreduce.mapper.regex
mapred.map.task.debug.script	mapreduce.map.debug.script
mapred.map.tasks	mapreduce.job.maps

​