如何在Amazon-S3和之间执行文件完整性检查

Question

我正在将数据从Amazon-S3迁移到。我已经使用古提尔复制了数据

$ gsutil cp -R s3://my_bucket/* gs://my_bucket

接下来我要做的是检查S3中的所有文件是否正确地存在于Google中。

目前，我所做的只是在文件中打印文件列表，然后执行简单的Unix diff，但这并不能真正检查文件的完整性。

有什么好办法检查一下吗？

Answer 1

gsutil验证云提供程序之间复制的对象的MD5校验和，因此如果递归复制命令成功完成(shell返回代码0)，那么您应该已经成功地复制了所有内容。请注意，gsutil无法对大于5 GiB的S3对象进行校验和比较(该对象具有gsutil不支持的非MD5校验和)，并将对遇到的情况打印警告。