如何配置AWS以s3作为hdfs存储

Question

我正在尝试创建一个具有以下配置的EMR集群，但是在启动阶段失败了。我使用的EMR版本是EMR 5.13.0

[
  {
    "Classification": "core-site",
    "Properties": {
      "fs.defaultFS": "s3://my-s3-bucket",
      "fs.s3a.imp": "org.apache.hadoop.fs.s3.S3FileSystem"
    }
  }
]

如果我删除了这个配置，集群就会被成功地配置。知道如何实现s3支持的hdfs配置吗？

Answer 1

简而言之，你想要达到的目标是不可能的。

原因： HDFS是基于POSIX文件系统行为建模的Hadoop FileSystem API的实现。

(EMRFS)是一个核心对象存储库，它模拟了所有Amazon集群用于从Amazon直接读取和写入常规文件到亚马逊S3的HDFS。它仍然违背了Hadoop的一些要求，即被认为是HDFS的替代。请参阅上面链接中的“对象存储与文件系统”一节。

尽管如此，您仍然可以使用亚马逊S3作为EMR上的存储选项，而无需使用URI方案s3://来配置任何东西。

希望这能回答你的问题。