如何给出使用java代码中的s3数据的输入Mapreduce作业

Question

我知道我们通常可以在EC2实例中运行jar文件时给出参数

但是我们如何通过代码提供输入呢？

我尝试这样做是因为我试图从jsp调用我的java代码，所以在java代码中，我想直接从s3中获取数据并继续，我尝试这样做，但没有成功：

DataExtractor.getRelevantData("s3n://syamk/revanthinput/", "999999", "94645", "20120606",
             "s3n://revanthufl/gen/testoutput" + "interm");

在这里，s3n://syamk/revanthinput/我使用的是输入，而不是s3n://revanthufl/gen/testoutput。

我使用的是输出，在参数中，我使用相同的字符串(s3n://syamk/revanthinput/和s3n://revanthufl/gen/testoutput)运行jar.But，这样做的代码就是抛出和异常，

java.lang.IllegalArgumentException:必须将AWS访问密钥ID和秘密访问密钥指定为s3n URL的用户名或密码，或者分别设置fs.s3n.awsAccessKeyId或fs.s3n.awsSecretAccessKey属性。有根本原因

Answer 1

根据我对flume的使用情况，在从代码中调用s3n://AWS_ACCESS_KEY:AWS_SECRET_KEY@syamk/revanthinput/时，您似乎需要像s3一样格式化URL。