HbaseTestingUtility和MapReduce作业

Question

我正在尝试使用HbaseTestingUtility在扩展TableMapper的非常基本的映射器上运行一个测试。在我的测试类中，我使用utility.startMiniCluster()启动了一个MiniCluster，并在setup方法中使用utility.createTable(tablename_bytes, familyname_bytes)创建了一个测试表。

然后使用以下命令启动映射器：

Job job = new Job(utility.getConfiguration()); //Job.getInstance();
TableMapReduceUtil.initTableMapperJob(tableName, new Scan(),MyBasicHbaseMapper.class,Text.class, Text.class, job);
job.waitForCompletion(true);

这是我得到的错误：

   java.io.FileNotFoundException: File does not exist: hdfs://localhost:57276/Users/user1/.m2/repository/org/cloudera/htrace/htrace-core/2.04/htrace-core-2.04.jar

此jar文件位于~/.m2/repository/org/cloudera/htrace/htrace-core/2.04/htrace-core-2.04.jar中。

我做错了什么？

Answer 1

我遇到了一个类似的问题，经过几个小时的努力，我终于意识到了解决方案……

调用后立即执行：

utility.startMiniCluster();

Invoke：

utility.startMiniMapReduceCluster();

方法#startMiniCluster只启动HBase、HDFS和Zookeeper的微集群。启动MapReduce微集群需要#startMiniMapReduceCluster!！

顺便说一句，在您的测试处理完成后，一定要调用：

utility.shutdownMiniMapReduceCluster();
utility.shutdownMiniCluster();