首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >装在阿帕奇星火库的火花发射器里吗?

装在阿帕奇星火库的火花发射器里吗?
EN

Stack Overflow用户
提问于 2015-12-15 01:18:33
回答 1查看 527关注 0票数 0

当我使用spark-submit使用spark-csv时,我使用以下命令

代码语言:javascript
复制
spark-submit --master spark://10.0.0.1:7077 --packages com.databricks:spark-csv_2.11:1.2.0  MyApp.jar

(注意::我在使用--packages com.databricks:spark-csv_2.11:1.2.0)

问题是:我如何使用火花发射器(我找不到从API中放入包信息的位置)?

(下面是我使用的代码)

代码语言:javascript
复制
import org.apache.spark.launcher.SparkLauncher

object Launcher extends App {

  val spark = new SparkLauncher()
  .setSparkHome("/myspark1.5.1path/")
  .setAppResource("/mypath/MyApp.jar")
  .setMainClass("MyApp")
  .setMaster("local[*]")
  .launch()
  spark.waitFor()
}
EN

回答 1

Stack Overflow用户

发布于 2016-03-01 18:41:11

代码语言:javascript
复制
spark.addSparkArg("--packages", "com.databricks:spark-csv_2.11:1.2.0")
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/34279490

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档