我在集群(远程)中运行了火花
如何使用spark submit向远程集群提交应用程序,其中包含以下场景:
来自以下链接:
https://github.com/mvillarrealb/docker-spark-cluster
https://github.com/big-data-europe/docker-spark
我们可以提交星火申请,但我们已经将文件和罐子复制到卷中。
我怎么才能避免这种情况?
有办法吗?
发布于 2019-11-28 15:06:43
最简单的方法是使用运行在星火主节点上的livy rest服务器。这允许您仅通过在本地打包作业并使用提交rest来提交作业。Livy现在默认情况下拥有许多星火云提供商。(AWS,Azure,Hortonworks)参见文档
我仍然认为提交应该是可能的,只要安装相同的火花驱动程序在当地。不过我还是放弃了。尤其是纱线的使用,我找不到合适的配置和连接的端口。
实际上,这也不是一个很好的操作设置,因为您的机器随后需要参与集群网络或打开特定端口。你的本地机器也开始参与星火协议。
将代码部署到集群上的临时位置,然后使用火花提交或使用定义良好的livy api端点是一个很好的方法。
有关集群内连接的注释的更新:
在每台机器上安装的一组火花机和适当的驱动程序中,可以提交来自任何机器的作业。此外,在集群中,管理员保留对所有参与机器开放的端口。
星星之交命令有一个主url参数。此url必须使用spark协议:
./bin/spark-submit \
--class <main-class \
--master <master-url> \
<application-jar>如果没有dns和纱线,一个主url看起来是这样的://192.168.1.1:7077(主节点的ip /vm,端口)
我已经做了一个类似的设置与对接-撰写。游乐场
注意:docker自动提供dns,所以我不需要通过ip引用节点。
# "spark-master" will automatically resolve to the ip of the master node because of docker-compose naming convention and dns rules
pyspark.SparkContext(master="spark://spark-master:7077", appName="Pi")https://stackoverflow.com/questions/59090746
复制相似问题