Google存储传输服务的成本效益

Question

我需要用大量文件(800 k文件，400 my )备份我的aws s3桶到Google云存储。谷歌存储传输服务似乎是一个简单的解决方案，但我对成本效益有一些怀疑。

第一次下载整个s3桶：

• aws上400 GB的传出通信量
• 800 k在aws上获得请求
• 800 k将请求放到google存储上

第二次和以后的情况如何？

它将花费与第一次相同的费用，还是只下载更改的/新的文件？

Answer 1

根据使用控制台创建和管理数据传输的文档：“默认情况下，存储传输服务只在源版本与接收器版本不同时覆盖对象。”

因此，第二次的成本将是S3和GCS存储桶上列表操作的成本(需要进行比较以查看更改的内容)，再加上任何更改的获取和放置。我认为对象通常一次列出1,000个对象(根据每个服务中对象列表的maxmimum页面大小)。因此，如果没有对象更改，您可以预期场景中的成本大约是S3中的800个列表操作和GCS中的800个列表操作。

Answer 2

进入gcp是免费的。所以，每次创建一个新的备份，并且只保留最新的5(或其他什么)。这样，您就不需要担心覆盖等问题，而且可以在N个版本之前回滚任何文件。