火花-EC2-ebs-vol不工作

Question

当使用spark-ec2启动星火集群时，--ebs-vol-size标志似乎没有任何效果。使用50或500设置它，然后将ssh‘’ing设置到主节点，df -h在/上显示大约10G的空间。

如何使用spark-ec2 创建更大的EC2虚拟机？

Answer 1

下面列出了一些对我有用的步骤-

1. 启动一个具有-ebs-vol的星火-ec2集群。
2. 关闭hadoop ./昙花一现-hdfs ./昙花一现-hdfs/bin/stop-all.sh
3. 启动hadoop ./persistent-hdfs ./persistent hdfs/bin/start-all.sh
4. 您可以验证当前大小是否反映了所请求的ebs。 ./persistent-hdfs/bin/hadoop dfsadmin -report
5. 运行以下命令(建议将它们放入脚本中)并运行- ./persistent hdfs/bin/stop all.sh sed 's#vol/persistent-hdfs#vol0/persistent-hdfs#g‘~/ -i --i/conf/-i-site.xml .\x{e76f}\x{e76f}hdfs/conf/core-site.xml ./火花-ec2/复制-di.sh~/持久性-hdfs/conf/hdfs-site.xml ./persistent-hdfs/bin/hadoop namenode -format ./persistent hdfs/bin/start-all.sh
6. 重复步骤4以验证大小

学分- Gist Reference by brendancol