首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何运行火花-提交远程?

问如何运行火花-提交远程?
EN

Stack Overflow用户
提问于 2019-11-28 14:09:52
回答 1查看 6.3K关注 0票数 9

我在集群(远程)中运行了火花

如何使用spark submit向远程集群提交应用程序,其中包含以下场景:

  1. 火花提交是通过骆驼作为命令执行的。
  2. 应用程序在自己的容器中运行。

来自以下链接:

https://github.com/mvillarrealb/docker-spark-cluster

https://github.com/big-data-europe/docker-spark

我们可以提交星火申请,但我们已经将文件和罐子复制到卷中。

我怎么才能避免这种情况?

有办法吗?

EN

回答 1

Stack Overflow用户

发布于 2019-11-28 15:06:43

最简单的方法是使用运行在星火主节点上的livy rest服务器。这允许您仅通过在本地打包作业并使用提交rest来提交作业。Livy现在默认情况下拥有许多星火云提供商。(AWS,Azure,Hortonworks)参见文档

我仍然认为提交应该是可能的,只要安装相同的火花驱动程序在当地。不过我还是放弃了。尤其是纱线的使用,我找不到合适的配置和连接的端口。

实际上,这也不是一个很好的操作设置,因为您的机器随后需要参与集群网络或打开特定端口。你的本地机器也开始参与星火协议。

将代码部署到集群上的临时位置,然后使用火花提交或使用定义良好的livy api端点是一个很好的方法。

有关集群内连接的注释的更新:

在每台机器上安装的一组火花机和适当的驱动程序中,可以提交来自任何机器的作业。此外,在集群中,管理员保留对所有参与机器开放的端口。

星星之交命令有一个主url参数。此url必须使用spark协议:

代码语言:javascript
复制
./bin/spark-submit \
  --class <main-class \
  --master <master-url> \ 
  <application-jar>

如果没有dns和纱线,一个主url看起来是这样的://192.168.1.1:7077(主节点的ip /vm,端口)

我已经做了一个类似的设置与对接-撰写。游乐场

  • 有三种类型的节点具有自记录名称:火花大师、火花工和火花-提交。
  • 仅通过建造。命令将appcode部署到星火提交节点。这是唯一在本地构建的码头映像。它是从火花图像继承而来的。因此,它具有与其他节点完全相同的火花驱动程序。此外,它还将所有项目代码从git (包括作业)复制到节点上的特定文件夹中。
  • 所有其他节点都是从码头注册中心的官方图像构建的,并且保持不变(除了一些信任)。
  • 最后,火花提交可以从火花提交节点使用。然而,在本例中,我刚刚启动了一个交互式jupyter笔记本,并从应用程序代码本身连接。

注意:docker自动提供dns,所以我不需要通过ip引用节点。

代码语言:javascript
复制
 # "spark-master" will automatically resolve to the ip of the master node because of docker-compose naming convention and dns rules
 pyspark.SparkContext(master="spark://spark-master:7077", appName="Pi")

操场/blob/硕士/码头-Compose.yml#L48

票数 10
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59090746

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档