加快谷歌云存储向s3的迁移

Question

我每天都需要将大量数据从谷歌存储导出到s3(几百GB)。由于gsutil rsync似乎是实现此目的的唯一方法，因此我想加快速度。

从gs到s3的同步太慢了，因为文档本身说“因为跨提供商的gsutil数据传输流经运行gsutil的机器……”。因此，它从触发rsync命令的机器下载和上传数据。如果有人做过类似的工作，请让我知道。

'rsync -m‘也无济于事。

一台更好的机器会改善结果吗？我们可以使用多台机器并行运行rsync来提高速度吗？

谢谢!

Answer 1

如果您从Compute Engine (而不是从本地计算机)运行gsutil rsync命令，将避免使用从Google到您的本地，然后从您的本地到Amazon的额外网络带宽。