使用Tez的MapReduce

Question

我正在创建一个验证工具来检查Apache Tez是否在Hadoop的hortonworks发行版中工作，为此，我需要检查是否在Tez上执行了一个简单的map reduce程序，我可以看到mapred-default.xml中的一个属性必须更改。

mapreduce.framework.name = yarn-tez (ref: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/bk_installing_manually_book/content/rpm-chap-tez-2.html)

我不想更改集群的任何设置，所以有没有办法在不接触mapred-default.xml的情况下使用Tez运行MapReduce

Answer 1

您可以使用"bin/hadoop jar hadoop-mapreduce-examples.jar wordcount -Dmapreduce.framework.name=yarn-tez输入输出“。

"-Dkey=value“可用于覆盖*-site.xml文件中指定的大多数配置属性。

或者，您可以运行原生Tez示例来验证设置(从tez-examples.jar/ Tez - MapReduce -examples.jar，具体取决于tez版本)，而不是依赖于在tez模式下运行MapReduce作业。