我想在Java代码中集成s3到hadoop文件传输。亚马逊是否为此任务提供了任何API。我想使用S3DistCp。
发布于 2017-06-27 18:50:48
不是AFAIK,但你可以使用apache one,它在org.apache.hadoop/hadoop-distcp模块中。我在测试中使用它(更具体地说,Hadoop azure & s3a客户端使用它来验证distcp与它们的对象存储一起工作)。
发布于 2017-08-14 21:36:40
通过使用s3distcp.jar,您可以使用Java解编译器来查看源代码和实现。可以从以下位置下载此文件。
s3://elasticmapreduce/libs/s3distcp/1.latest/s3distcp.jarhttps://stackoverflow.com/questions/44772059
复制相似问题