/home/hadoop/bin/hadoop在ami 4.x中丢失

Question

我正在尝试将使用ami 3.x的遗留mapreduce流水线迁移到ami 4.x。它目前有bash脚本作为引导的一部分，其中一个叫做hadoop fs-get s3n://somefile ~/otherfile。这在我当前迁移到ami 4.x的尝试中失败了。添加ls /home/hadoop/bin后，脚本显示目录/home/hadoop/bin不存在，因此二进制/home/hadoop/bin/hadoop当然不会存在。我需要配置什么来确保hadoop二进制文件存在吗？我似乎在文档中找不到任何明显的东西。

Answer 1

文件系统布局在3.x和4.x之间有很大变化。3.x和4.x之间的差异以及迁移说明可在此处找到：http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-4.1.0/emr-release-differences.html

不过，解决您的问题的简短答案是，您应该在引导操作中使用"aws Hadoop cp“而不是"hadoop fs- s3”，因为Hadoop直到引导操作在4.x+上运行之后才会安装。