使用spark EC2更改hadoop版本

Question

我想知道，当星体EC2创建集群时，是否可以更改hadoop版本？

我试过了

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 launch my-spark-cluster

然后我用

spark-ec2 -k spark -i ~/.ssh/spark.pem login my-spark-cluster

并发现hadoop版本为1.0.4。

我想使用2.x版本的hadoop，最好的配置方法是什么？

Answer 1

Hadoop 2.0

spark-ec2脚本不支持修改现有的集群，但是您可以使用Hadoop 2创建一个新的。

请参阅脚本的--help摘录

  --hadoop-major-version=HADOOP_MAJOR_VERSION
                    Major version of Hadoop (default: 1)

例如：

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 --hadoop-major-version=2 launch my-spark-cluster

..will使用Spark和Hadoop 2的当前版本创建集群。

如果您使用Sparkv.1.3.1或Sparkv.1.4.0创建一个独立的集群，那么您将以这种方式获得Hadoop诉2.0.0 MR1 (来自ClouderaHadoopPlatform4.2.0发行版)。

注意事项如下：

• 由于bugs 例如，使用Tachyon有一个问题。，这个Hadoop版本还不支持某些特性，
• 虽然从理论上说，在Spark1.4.0 您可以使用spark EC2创建纱线集群。中，到2015年6月它还没有被记录在案，而且我们尝试使用它的尝试也失败了，

successfully使用了一些使用Hadoop2.0.0创建的Spark1.2.0和1.3.1集群，使用了一些特定于Hadoop 2的特性。(对于Spark1.2.0，我已经在火花和火花-EC2的分叉中做了一些调整，但这是另一回事。)

Hadoop 2.4、2.6

如果您需要Hadoop2.4或Hadoop2.6，那么我目前(截至2015年6月)建议您手动创建一个独立的集群--这比您想象的要容易得多。