在AWS上分别为映射器和减速器指定VM设置

Question

我有一个关于亚马逊网络服务的弹性地图推理的问题。是否有人能够设置以下环境参数：

映射/还原·java.opts

问题是，当我检查映射器和减法器的虚拟机中的堆大小时，最大堆大小不受这些设置的影响。我检查堆大小，就像在map/reduce代码中添加以下行一样：

runtime = Runtime.getRuntime();
System.out.println(runtime.maxMemory()); 

我使用带有以下参数的命令行接口来设置它们：

-引导-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop -args "-m，maporee.map.java.opts=-Xmx1000m，-m，maporee.Reduce.java.opts=-Xmx3000m“

我在Amazon上检查了hadoop版本如下: 1.0.3 (我查看了the的参考书，它说应该支持启动Hadoop0.21)。

虽然可以设置子进程的VM设置(映射程序和还原器-> mapred.child.java.opts都是相同的)，但是这对于我的算法来说是非常不方便的，在这种算法中，还原器必须存储一个大的hashmap，而映射程序却什么都没有。

可能与这个问题有关:如果设置不受支持的环境变量，是否有可能得到警告。当我设置上述变量时，可以访问它们，但显然不使用/支持它们。(configuration.get(...)返回我设置的值)

Answer 1

如果您查看hadoop-1.0.3/docs文件夹，您将发现一个名为mapred_tutorial.html的文件。在“任务执行和环境”部分中，文档告诉您使用以下内容：

mapred.{map|reduce}.child.java.opts

他们已经更改了配置名称，因此hadoop-0.21.0中的mapreduce.map/reduce.java.opts不再适用于更新的hadoop-1.0.3。