自动同步两个亚马逊S3存储桶，除了s3cmd？

Question

除了使用s3cmd之外，还有其他自动同步两个亚马逊S3存储桶的方法吗？也许亚马逊有这个选项？环境是linux，我每天都想将新的和删除的文件同步到另一个存储桶中。我讨厌把所有鸡蛋都放在一个篮子里的想法。

Answer 1

您可以使用标准的Amazon CLI进行同步。你只需要做一些类似的事情：

aws s3 sync s3://bucket1/folder1 s3://bucket2/folder2

http://aws.amazon.com/cli/

Answer 2

S3存储桶!=篮子

从他们的site

数据的持久性和可靠性

亚马逊S3提供了高度耐用的存储基础架构，专为关键任务数据存储和主要数据存储而设计。对象冗余地存储在亚马逊S3区域中多个设施的多个设备上。为了帮助确保持久性，亚马逊S3 PUT和COPY操作在返回成功之前跨多个设施同步存储您的数据。存储后，亚马逊S3通过快速检测和修复任何丢失的冗余来维护对象的持久性。亚马逊S3还定期使用校验和验证存储的数据的完整性。如果检测到损坏，则使用冗余数据进行修复。此外，亚马逊S3计算所有网络流量的校验和，以检测存储或检索数据时数据包的损坏。

Amazon S3的标准存储是：

以亚马逊S3服务级别Agreement.

• Designed为后盾的
• ，可在给定年份内提供99.999999999的持久性和99.99%的对象可用性。
• 旨在承受两个设施中的并发数据丢失。

亚马逊S3通过版本控制提供了进一步的保护。您可以使用版本控制来保留、检索和恢复存储在亚马逊S3存储桶中的每个对象的每个版本。这使您可以轻松地从意外的用户操作和应用程序故障中恢复。默认情况下，请求将检索最近编写的版本。可以通过在请求中指定版本来检索对象的较早版本。存储费率适用于存储的每个版本。

这是非常可靠的。

Answer 3

我正在寻找类似的东西，有几个选择：

1. 商业应用程序，如：s3RSync。此外，用于S3的CloudBerry提供了Powershell扩展，您可以使用这些扩展来编写脚本，但我知道您使用的是*nix.
2. AWS API + (Fav语言)+ Cron。(听我说完)。一个对亚马逊网络服务的库没有经验的精明的人需要很短的时间来构建一些东西来复制和比较文件(使用s3密钥的ETag功能)。只需提供源/目标存储桶、凭证、遍历密钥并在AWS中发出本机"Copy“命令即可。我用的是Java。如果你使用Python和Cron，你可以很快开发出一个有用的工具。

我仍然在寻找一些已经构建的开源或免费的东西。但是#2真的不是一个非常困难的任务。

编辑：我回到这篇文章，意识到现在Attunity CloudBeam也是一个商业解决方案，很多人。