使用修改后的hadoop配置文件运行oozie作业，以支持S3到HDFS

Question

您好，我正在尝试使用cp命令将S3存储桶中的文件复制到HDFS中。我这样做: Hadoop --config config fs -cp s3a://path hadooppath当我的配置在本地时，它工作得很好。然而，现在我正试图将它设置为一个oozie作业。因此，当我现在无法传递本地系统中config目录中的配置文件时。即使是在HDFS中，它似乎仍然不能工作。有什么建议吗？

我在Hadoop中尝试了-D命令，并传递了名称和值对，但仍然抛出了一些错误。它只能在我的本地系统中工作。

Answer 1

你在oozie中尝试过DISTCP吗？Hadoop2.7.2将支持S3数据源。您可以通过协调人员来安排它。只需将凭据解析为RESTAPI或Properties文件中的协调器。这是一种简单的定期复制数据的方法(计划方式)。

${HADOOP_HOME}/bin/hadoop distcp s3://<source>/ hdfs://<destination>/