Spark集群设置错误

Question

通过互联网上的一些研究，我可以使用

sbin/start-master.sh

在我的Ubuntu Linux计算机上启动spark主服务器spark服务并使用

bin/spark-class org.apache.spark.deploy.worker.Worker spark://...

从节点服务启动并运行。好消息是我可以看到当地的网页，上面有活着的作品。

然而，在这样做之后，我尝试启动shell来工作...

MASTER=spark://localhost:7077 bin/spark-shell

但它返回了:sparkMaster@localhost:7077...

因此我将代码修改为

MASTER=spark://sparkuser@localhost:7077 bin/spark-shell

sparkuser是连接到两个节点的那个，但是，通过这样的修改，我得到：

ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
WARN SparkDeploySchedulerBackend: Application ID is not initialized yet.
ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.

当我试着

MASTER=local-cluster[3,2,1024] bin/spark-shell

它确实在shell中出现了spark徽标，但我担心从节点没有绑定在里面。

我错过了Spark集群设置中的任何东西吗？

Answer 1

只需使用--master标志在集群上启动spark-shell，如下所示

       ./spark-shell --master spark://localhost:7077 bin/spark-shell