我目前正在运行用于MapReduce的Apache Ignite Hadoop加速器。作业运行,但我无法在JobHistoryServer中看到它们。我不希望在Yarn的资源管理器中看到这些工作(而且没有)。
我像hadoop --config path/to/config/ jar path/to/jar ....一样运行我的MapReduce作业
在mapred-site.xml中,我添加了
<property>
<name>mapreduce.framework.name</name>
<value>ignite</value>
</property>
<property>
<name>mapreduce.jobtracker.address</name>
<value>[your_host]:11211</value>
</property>我的mapreduce.jobhistorence.*设置未更改。
在我添加的core-site.xml文件中
<property>
<name>fs.default.name</name>
<value>igfs://igfs@/</value>
</property>
<property>
<name>fs.igfs.impl</name>
<value>org.apache.ignite.hadoop.fs.v1.IgniteHadoopFileSystem</value>
</property>
<property>
<name>fs.AbstractFileSystem.igfs.impl</name>
<value>org.apache.ignite.hadoop.fs.v2.IgniteHadoopFileSystem</value>
</property>我还向$HADOOP_HOME路径添加了ignite-core-1.6.0.jar、ignite-hadoop-1.6.0.jar和ignite-shmem-1.0.0.jar。类似地,我导出了HADOOP_HOME、HADOOP_COMMON_HOME、HADOOP_HDFS_HOME和HADOOP_MAPRED_HOME。
是Ignite不支持这个功能,还是我做错了什么?
另外,有没有办法跟踪在Ignite上运行的MapReduce作业?
发布于 2016-08-25 00:03:56
目前Ignite没有以任何方式与Hadoop History服务器集成,发出https://issues.apache.org/jira/browse/IGNITE-3766请求。
https://stackoverflow.com/questions/39088131
复制相似问题