回答情况：
提问时间：
问题标签：
使用命令spark-ec2，我在AWS-EC2上的虚拟私有云(vpc)中创建了一个名为"ruofan-large- cluster“的集群。集群包含一个主节点和两个从节点，运行良好。/spark-ec2 --region=us-east-1 stop ruofan-large-clusterAre you sure you want to stop the cluster/spark-ec2 -k <key-file-name> -i <key-file> -r u
浏览 0修改于2015-08-11得票数 2
/spark-ec2 --worker-instances=3 --key-pair=my.key --identity-file=mykey.pem --region=us-east-1 --zone我很有可能认为这是spark-ec2中的一个bug，但我不太确定，因为我是这里的新手。
我到处都在找有类似问题的人。因此，我非常感谢任何可以给我一些想法的建议，为什么会发生这种情况，以及如何修复它。
浏览 1提问于2015-03-21得票数 1
我想使用spark-ec2脚本启动一个AWS EC2实例。--spark_ec2.py在安装期间从github拉取最新的spark-ec2，因此我看不到可能的本地修复。我没有信心直接从github分支和破解这个脚本。
有什么办法来解决这个问题吗？
浏览 1提问于2016-11-19得票数 0
正在尝试在EC2上启动Spark群集，遇到错误“无法确定实例的主机名”(用*替换敏感度)：
$ spark-ec2 --vpc-id=vpc-* --subnet-id=subnet-* --slaves
浏览 18修改于2017-03-09得票数 3
我下载了spark-1.5.2，并使用在ec2上设置了一个集群。最后，我使用以下命令运行提交：
bin/spark-submit --class org.apache.spark.examples.JavaTC --master spark://url_here.eu-west-1.compute.amazonaws.com:7077 --deploy-mode cluster /home/aki/Projects/spark-1.5.2/examples/target/spark-examples_2.
浏览 0修改于2015-12-25得票数 1
当使用spark-ec2启动星火集群时，--ebs-vol-size标志似乎没有任何效果。使用50或500设置它，然后将ssh‘’ing设置到主节点，df -h在/上显示大约10G的空间。如何使用spark-ec2 创建更大的EC2虚拟机？
浏览 0提问于2015-11-08得票数 2
回答已采纳
我正在尝试使用以下脚本在EC2上启动Spark集群： File "spark-ec2/spark_ec2.py", line 169, in <module> File "
浏览 9提问于2018-08-14得票数 1
回答已采纳
我使用这样的命令启动集群：
spark-ec2/spark-ec2 -k NAME_OF_KEY_PAIR --identity-file=PATH_TO_PEM_FILE --region=us-west
浏览 2修改于2018-01-16得票数 1
回答已采纳
我无法通过spark脚本spark/ ec2 /spark-ec2为ec2集群分配角色。我使用以下命令启动集群:其中myprofile是一个具有足够权限的测试配置文件。
./spark-ec2 -k <key name> -i <aws .pem file> -s 2 -r eu-west-1 launch mycluster --instance-type=m4.large/spark-ec2 -k <key name> -i <aws .pem fil
浏览 0修改于2017-05-23得票数 0
这是我的源火花版本上面的Scala错误来自于
spark-ec2/scala/init.sh
浏览 5提问于2017-02-28得票数 0
回答已采纳
我使用--ebs-vol-size=1000运行了spark-ec2脚本(并且附加了1000 run的卷)，但是当我运行hadoop dfsadmin -report时，只显示：
Configured
浏览 1提问于2015-01-31得票数 3
/spark-ec2/templates/root/mapreduce/conf/core-site.xml./spark-ec2/templates/root/ephemeral-hdfs/conf/core-site.xml
.
浏览 0修改于2014-10-11得票数 5
1回答
/spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name>
我有我的集群和我登录到主人，但我不知道如何启动一个火星雨笔记本。
浏览 2修改于2016-12-28得票数 0
回答已采纳
在使用Debian启动了一个t2微实例并导入了我的AWS键之后，我尝试使用以下命令在法兰克福服务器上启动一个Spark集群：
spark-1.4.0-bin-hadoop2.6/ec2/spark-ec2
浏览 3修改于2015-07-15得票数 0
回答已采纳
到目前为止，我已经使用了copy-dir脚本(位于spark-ec2文件夹上)，该脚本将确定的文件复制到集群中的所有可用节点中，这些节点的工作方式如下：spark-ec2/ > sh copy-dir my/file/location/myLib.so
但是，这种方法只能在集群创建之后才能使用，我想知道是否存在引导的可能性
浏览 1修改于2015-03-13得票数 4
有了spark-ec2脚本(可通过GitHub for 2.0获得)，您的环境就准备好了。是否有任何令人信服的用例(除了一个远超的boto3 sdk接口)用于在EC2上运行电子病历？
浏览 2提问于2016-11-03得票数 3
回答已采纳
AWS_ACCESS_KEY_ID=ACCESS_KEY_ID# To install Spark 2.0 on the cluster:
sudo spark-ec2/spark-ec2 -k keypair --identity-file=keypair.pem --region=us-west-2 --zone=us-west-2a --copy-aws-credentials
浏览 4修改于2020-01-05得票数 2
回答已采纳
我刚刚使用spark-ec2创建了一个集群。我在这里遵循了http://spark.apache.org/docs/latest/ec2-scripts.html的步骤。
浏览 0提问于2016-06-16得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号