如何使用s3DistCp从子目录复制

Question

尝试使用s3DistCp从s3://my-bucket/dir1/、s3://my-bucket/dir2、s3://my-bucket/dir3复制。

所有三个达尔都有一些文件。想做这样的事情：

hadoop jar s3distcp.jar --src s3://my-bucket/*/ --dest s3://my-bucket/some-other-dir/

但是它会产生一个错误，即：

‘s 3://my-bucket/*/目录找不到.

那么，这是否意味着s3DistCp不会在路径中使用通配符？周围有什么工作或想法吗？

Answer 1

你和s3n试过吗？Difference between Amazon S3 and S3n in Hadoop