当我使用spark-submit使用spark-csv时,我使用以下命令
spark-submit --master spark://10.0.0.1:7077 --packages com.databricks:spark-csv_2.11:1.2.0 MyApp.jar(注意::我在使用--packages com.databricks:spark-csv_2.11:1.2.0)
问题是:我如何使用火花发射器(我找不到从API中放入包信息的位置)?
(下面是我使用的代码)
import org.apache.spark.launcher.SparkLauncher
object Launcher extends App {
val spark = new SparkLauncher()
.setSparkHome("/myspark1.5.1path/")
.setAppResource("/mypath/MyApp.jar")
.setMainClass("MyApp")
.setMaster("local[*]")
.launch()
spark.waitFor()
}发布于 2016-03-01 18:41:11
spark.addSparkArg("--packages", "com.databricks:spark-csv_2.11:1.2.0")https://stackoverflow.com/questions/34279490
复制相似问题