Hadoop作业在本地模式下运行。但是在分布式模式下运行的Oozie作业

Question

在我们的集群上，即使是最简单的作业"wordcount“也在本地模式下运行。但是之前有一些作业是使用oozie运行的，我们观察到它们是以集群模式运行的。原生hadoop作业与使用oozie运行的hadoop作业之间是否存在冲突？下面是错误堆栈跟踪-

java.lang.IllegalArgumentException: Can't read partitions file
    at org.apache.hadoop.hbase.mapreduce.hadoopbackport.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:111)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:560)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:639)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:323)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:210)

原因: java.io.FileNotFoundException:文件_partition.lst不存在。在org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:408)在org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:251)在org.apache.hadoop.fs.FileSystem.getLength(FileSystem.java:825)在org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1480)在org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1475)在org.apache.hadoop。org.apache.hadoop.hbase.mapreduce.hadoopbackport.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:82)上的hbase.mapreduce.hadoopbackport.TotalOrderPartitioner.readPartitions(TotalOrderPartitioner.java:296)

我们的作业在没有安装Oozie的测试集群上运行良好。因此，我不确定这两件事是否相关。提前谢谢。

我们使用的是Cloudera发行版。

Answer 1

听起来他们使用了不同的配置。我首先要确保您正在运行的所有程序都使用相同的HADOOP_HOME。

Answer 2

经过多次重试，我们现在已经切换到BigInsights。我个人认为CDH是一种很棒的Hadoop风格。但由于我们没有完成最初的安装，依赖的开销对我们的项目来说太多了。正如我们早先在BigInsights上取得的成功一样，我们希望复制它。