问在Windows 10上设置spark集群
EN

Stack Overflow用户

提问于 2020-07-15 11:57:40

回答 1查看 166关注 0票数 0

我正在尝试使用两个运行Windows10的系统来设置spark 3的光泽。

在spark://<hostname>:7077上启动主服务器的spark-class org.apache.spark.deploy.master.Master -h <hostname>

在我试图用作工作节点的第二台机器上，我使用的是spark-class org.apache.spark.deploy.worker.Worker spark://<hostname>:7077，但是它抛出了一个拒绝连接的错误。

我跟踪了spark start-slave not connecting to master，Spark Standalone Cluster - Slave not connecting to Master链接，并更新了spark-env文件以更新SPARK_MASTER_HOST和SPARK_LOCAL_IP，但仍然没有成功。

我尝试在启动主节点时使用-i flag，并且我能够成功地连接主节点和从节点，但是spark文档显示-i已被弃用，所以有人可以指出我在启动主节点时使用-h flag时做错了什么吗？

发布于 2020-07-15 20:30:15

您应该向Worker提供主主机名或IP :通过传递：

...Worker spark://<MASTER IP>:7077

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/62907379

复制

相似问题

问在Windows 10上设置spark集群EN