文章/答案/技术大牛

发布

社区首页 >问答首页 >在spark提交中访问spark集群模式

问在spark提交中访问spark集群模式
EN

Stack Overflow用户

提问于 2018-10-25 18:53:30

回答 2查看 125关注 0票数 0

我正在尝试使用spark submit运行我的spark scala代码。为此，我想访问spark集群。那么，在Spark上下文中，我应该为master使用什么？我曾经这样使用过

val spark = SparkSession.builder()
      .master("spark://prod5:7077")
      .appName("MyApp")
      .getOrCreate;

但它似乎不起作用。使用spark集群时，我应该使用什么作为主机？

scala

apache-spark

回答 2

Stack Overflow用户

发布于 2018-11-11 23:29:10

如果你正尝试在集成开发环境中提交作业，只需确保"prod5“是主程序，并尝试将端口更改为默认的6066。

票数 0

Stack Overflow用户

发布于 2019-03-13 09:23:05

来自官方文档-

spark-submit --class <main-class>  --master <master-url> --deploy-mode <deploy-mode>  --conf <key>=<value> ... # other options <application-jar>  [application-arguments]

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/52987546

复制

相似问题

问在spark提交中访问spark集群模式
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在spark提交中访问spark集群模式EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问在spark提交中访问spark集群模式
EN