我可以在eclipse中运行spark单元测试吗？

Question

最近，我们从使用滚烫转变为火花。我使用eclipse和eclipse的scala IDE编写代码和测试。这些测试在twitter的JobTest类上运行得很好。任何使用JobTest的类都可以自动作为eclipse中的scala单元测试运行。我现在已经失去了这种能力。使用sbt可以很好地运行spark测试用例，但是eclipse中针对这些测试的运行配置列出了“无适用”。

有没有办法在eclipse中运行spark单元测试？

Answer 1

我认为使用Java的相同方法在Scala中也可以工作。基本上，只需使用主控作为“本地”来创建一个SparkContext，然后像往常一样构建和运行单元测试。确保在测试完成时停止SparkContext。

我把它用在Spark 1.0.0上，但不是更新的版本。

public class Test123 {
  static JavaSparkContext sparkCtx;

  @BeforeClass
  public static void sparkSetup() {
    // Setup Spark
    SparkConf conf = new SparkConf();
    sparkCtx = new JavaSparkContext("local", "test", conf);     
  }

  @AfterClass
  public static void sparkTeardown() {
    sparkCtx.stop();
  }

  @Test
  public void integrationTest() {
    JavaRDD<String> logRawInput = sparkCtx.parallelize(Arrays.asList(new String[] {
            "data1",
            "data2",
            "garbage",
            "data3",
        }));
  }
}