Spark :如何在Eclipse IDE开发中提供"--properties-file“选项

Question

我使用Eclipse开发我的spark应用程序，当从命令行运行时，我使用如下命令：

spark-submit  --master yarn-client --driver-memory 4g --properties-file  myAPP.conf ..

我也可以直接从eclipse IDE运行我的主类，但是有没有人可以建议一下，当直接从IDE运行时，如何提供--properties-file选项。

谢谢Alok

Answer 1

将配置文件添加到项目中，并添加以下行

  val configuration = new Configuration()
  val conffile = getClass().getResourceAsStream("filepath");
  configuration.addResource(conffile)

Answer 2

将属性添加到属性文件中，并将该文件名作为命令行参数传递。

在Scala/Java程序中使用文件名，并将属性添加到SparkConf。下面显示了一个示例scala代码片段

import java.io.FileInputStream
import java.util.Properties
import org.apache.spark.SparkConf
import scala.collection.JavaConverters

....

val properties: Properties = new Properties()
properties.load(new FileInputStream("spark.properties"))

val map = JavaConverters.propertiesAsScalaMapConverter(properties).asScala;

val sparkConf = new SparkConf().setAppName("SampleJob").setAll(map)

所有属性名称和值都应采用属性格式，即--driver-memory转换为spark.driver.memory。