如何在亚马逊网络服务S3存储桶中查找重复文件？

Question

有没有一种在亚马逊S3存储桶中递归查找重复文件的方法？在一个普通的文件系统中，我会简单地使用：

fdupes -r /my/directory

Answer 1

亚马逊S3中没有“查找重复项”命令。

但是，您需要执行以下操作：

• list of objects in
• 查找具有相同校验和( ETag )和校验和的对象

它们将(极有可能)是重复的对象。

Answer 2

这是一个git存储库：https://github.com/chilts/node-awssum-scripts，它有一个js脚本文件来查找S3存储桶中的重复项。我知道，给你介绍一个外部资源是而不是推荐的，但我希望它能对你有所帮助。

Answer 3

import boto3
s3client = boto3.client('s3',aws_access_key_id=ACCESS_KEY,aws_secret_access_key=SECRET_KEY,region_name=region)
etag = s3client.head_object(Bucket='myBucket',Key='index.html')['ResponseMetadata']['HTTPHeaders']['etag']
print(etag)