我怎样才能得到亚马逊S3桶的大小？

Question

我想要绘制亚马逊S3桶的大小(以字节和项的#为单位)，并正在寻找一种获取数据的有效方法。

s3cmd工具提供了一种使用s3cmd du s3://bucket_name获取总文件大小的方法，但我担心它的扩展能力，因为它看起来像是获取每个文件的数据并计算其自身的总和。由于Amazon在GB-月内向用户收费，他们不直接公开这个值似乎很奇怪。

虽然亚马逊的REST返回桶中的项数，但s3cmd似乎没有公开它。我可以做s3cmd ls -r s3://bucket_name | wc -l，但这似乎是一次黑客攻击。

Ruby AWS::S3库看起来很有前途，但只提供了桶项的#，而不是总的桶大小。

是否有人知道有其他命令行工具或库(更喜欢Perl、PHP、Python或Ruby)提供获取这些数据的方法？

Answer 1

AWS现在支持--query参数，它接受一个JMESPath表达式。

这意味着您可以使用list-objects给出的大小值之和使用sum(Contents[].Size)，并计算为length(Contents[])。

这可以使用正式的AWS运行，如下所示，并在2014年年2月中引入了

 aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"

Answer 2

现在只需使用正式的AWS命令行客户端就可以做到这一点：

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/

正式文件：命令参考(第2版)

如果不想计算整个桶，这也会接受路径前缀：

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/directory

Answer 3

s3cmd可以这样做：

s3cmd du s3://bucket-name