移动多兆字节信息的最快方法

Question

我需要将多兆字节的信息从一个NFS系统( NFS系统在AWS中)移动到amazon，但我需要它以最快的方式移动这些数据。我尝试过rsync，但是花费的时间太长了，我也尝试过使用带有rsync的并行方法，但是它并没有给出我需要的结果。

数据包含在包含多个小文件的多个目录中。

是否有任何经过尝试和测试的方法可以非常快地移动数据，同时仍然确保数据在到达时不会损坏(比如rsync)？

Answer 1

移动这么大数量数据的最快方法仍然是。因此，亚马逊雪球。这个设备被运到您的位置，在那里它可以移动高达80 to的数据直接从您的本地网络通过10千兆位以太网连接。然后，它被运回亚马逊，在那里他们将数据上传到你的亚马逊账户。

Answer 2

对于很多小文件来说，限制将是源存储和目标存储的IOPS。rsync不会加快速度，因为它必须读取每个文件，它的主要优点不是传输已经复制的大块大文件。

如果您相反地还原备份存档，则读取量会更大、顺序更高、吞吐量更高：

cd /mnt/files/
tar -xzf /mnt/backup/files.tar.gz

但是，您必须有这个备份存档的空间。

而且，恢复的时间点可能是一段时间以前的时间，这取决于备份所需的时间。