s4cmd同步两个存储桶访问被拒绝

Question

我正在尝试同步两个s3存储桶：

s4cmd --dry-run sync s3://cgl-rnaseq-recompute-fixed/gtex s3://rnaseq.toil.20k/gtex

但是我得到了以下错误：

[Exception] An error occurred (AccessDenied) when calling the ListObjects operation: Access Denied
[Thread Failure] An error occurred (AccessDenied) when calling the ListObjects operation: Access Denied

源存储桶是公开的。第二个存储桶是我的，我可以访问它：

[centos@ip-172-30-3-12 data]$ s4cmd ls s3://rnaseq.toil.20k/
                 DIR s3://rnaseq.toil.20k/gtex/
                 DIR s3://rnaseq.toil.20k/pnoc/
                 DIR s3://rnaseq.toil.20k/target/
                 DIR s3://rnaseq.toil.20k/tcga/

另外，我不能使用s4cmd在源存储桶上使用ls，但我可以使用s3cmd

[centos@ip-172-30-3-12 data]$ s4cmd ls s3://cgl-rnaseq-recompute-fixed/gtex
[Exception] An error occurred (AccessDenied) when calling the ListObjects operation: Access Denied
[Thread Failure] An error occurred (AccessDenied) when calling the ListObjects operation: Access Denied

[centos@ip-172-30-3-12 data]$ s3cmd ls --requester-pays s3://cgl-rnaseq-recompute-fixed/gtex
                       DIR   s3://cgl-rnaseq-recompute-fixed/gtex/
2016-06-03 17:02    435553   s3://cgl-rnaseq-recompute-fixed/gtex-manifest

会出什么问题呢？任何建议都将不胜感激。

Answer 1

要实现s3cmd行为，请使用通配符：

s4cmd sync s3://bucket/path/dirA/* s3://bucket/path/dirB/

注s4cmd不支持没有尾随斜杠的dirA，表示rsync支持的是dirA/*。

所以在你的例子中，你必须使用。

s4cmd --dry-run sync s3://cgl-rnaseq-recompute-fixed/gtex/* s3://rnaseq.toil.20k/gtex

查看s4cmd的文档，它是非常有用的。

https://github.com/bloomreach/s4cmd