使用--worker-instances运行spark-ec2

Question

对了，一个绝对的火种新手在这里说话。

这是我正在运行的命令，需要3个工作进程

./spark-ec2  --worker-instances=3 --key-pair=my.key --identity-file=mykey.pem --region=us-east-1 --zone=us-east-1a  launch my-spark-cluster-G

但是，在aws console中只会创建两个服务器(master和slave)

在另一边：

http://myMasterSparkURL:8080/

我得到了以下信息，这些信息并不只是加在一起：

Workers: 3
Cores: 3 Total, 3 Used
Memory: 18.8 GB Total, 18.0 GB Used
Applications: 1 Running, 0 Completed
Drivers: 0 Running, 0 Completed
Status: ALIVE

在workers下，它显示：

worker1 (port 8081) worker1IP:43595 ALIVE   1 (1 Used)  6.3 GB (6.0 GB Used)
worker1 (port 8082) worker1IP:53195 ALIVE   1 (1 Used)  6.3 GB (6.0 GB Used)
worker1 (port 8083) worker1IP:41683 ALIVE   1 (1 Used)  6.3 GB (6.0 GB Used)

现在，如果我单击第一个(worker with 8081)，它会将我重定向到worker页面。但是，如果我单击其他两个(workers with port 8082 and 8083)，它会将我重定向到worker页面。它基本上是说page not found。

我很有可能认为这是spark-ec2中的一个bug，但我不太确定，因为我是这里的新手。

我到处都在找有类似问题的人。因此，我非常感谢任何可以给我一些想法的建议，为什么会发生这种情况，以及如何修复它。ty

星火版spark-1.3.0

Answer 1

你可能想稍微改变一下这个调用，这就是我到目前为止创建集群的方式：

./spark-ec2 -k MyKey 
            -i MyKey.pem 
            -s 3 
            --instance-type=m3.medium 
            --region=eu-west-1 
            --spark-version=1.2.0 
            launch MyCluster