无法用火花运行火花--1.6.1-bin-hadoop1

Question

我正在尝试使用Spark-1.6.1-bin- hadoop 1(Hadoop1.X的预构建包)运行火花特瑞索。

当我试图运行火花：

./bin/spark-submit --class com.github.ehiggs.spark.terasort.TeraGen  ~/spark-terasort/target/spark-terasort-1.0-jar-with-dependencies.jar 100G hdfs:///input_terasort

我知道错误：

线程"main“java.lang.IncompatibleClassChangeError中的异常:找到类org.apache.hadoop.mapreduce.JobContext，但接口是预期的

这可能与不同的Hadoop版本有关(火花和火花-terasort之间)。我试过玩pom.xml (以前编译火花-terasort)，但没有成功。

如何使用火花-1.6.1-bin-hadoop1 1？？

Answer 1

spark-terasort是旧的：

  <scala.binary.version>2.10</scala.binary.version>
  <spark.version>1.2.1</spark.version>

我正在考虑修补它。会回来..。

Update --我尝试过使用1.6.0-SNAPSHOT和TeraGen --工作得很好。

Input size: 1000KB
Total number of records: 10000
Number of output partitions: 2
Number of records/output partition: 5000
===========================================================================
===========================================================================
Number of records written: 10000

这是针对本地文件系统运行时的情况。我将在大约12小时后看到真正的hdfs。