替代机器人复制/MIR

Question

我们运行了许多web应用程序，这些应用程序将大量本地数据存储在小型xml文件中。备份/恢复策略的一部分是通过VPN向主机中心生成文件系统的本地镜像。

VPN连接只能通过12 12Mbps的ADSL连接，虽然有很多文件和目录，但实际更改的文件数量非常少。

虽然带宽可能是一个问题，但我看到的结果如下所示。机器人复制/MIR花了5个小时才运行，但只有30分钟才能真正执行拷贝。

有没有人对如何改善这个问题有任何建议。现在这5个小时太慢了，如果我们找不到加快速度的方法，那么我们必须想出一个完全不同的解决方案。

            Total    Copied   Skipped  Mismatch    FAILED    Extras
 Dirs :     17625      6618     11007         0         0         0
Files :   1112430      1223   1111207         0         0         0
Bytes :  57.451 g  192.25 m  57.263 g         0         0         0
Times :   5:01:23   0:35:55                       0:00:00   4:25:27

Speed :               93509 Bytes/sec.
Speed :               5.350 MegaBytes/min.

Ended : Fri Apr 16 05:54:23 2010

Answer 1

Robocopy必须首先枚举所有本地和远程文件，以确定哪些文件需要传输。这很可能是花费时间的原因。

如果在成功备份之后重置Archive文件属性会怎么样：

attrib -a /s *

然后每次写入文件时，都会自动设置Archive位。下一次，您可以告诉Robocopy只使用设置了A标志的归档文件：

robocopy source destination /mir /a

我还没有测试这个，但我相信它应该会更快，因为Robocopy将有更少的文件需要处理。

另一个想法是在远程服务器上运行一个计划好的作业(如果可能的话)，以压缩整个目录结构，然后通过VPN复制生成的zip文件。XML将很好地压缩，复制单个文件将比高延迟链接更有效。

Answer 2

我使用rsync for Windows复制宽带连接。它被认为是一个增量复制系统，它只复制每个文件的更改，而机器复制则复制整个文件，如果它已经改变了一点。(有时我想知道它是否真的这么做)

您还可以使用机器人复制/mon:x开关并使其永久运行。当机器人拷贝看到文件系统中的x变化时，这将运行。如果它非常频繁地运行，那么只会发生少量的更改。

您可以在Windows Server中使用文件复制功能，对每个文件夹使用DFS路径，并将本地和远程文件夹设置为目标。

Answer 3

我支持查尔斯·加金特关于rsync的建议。我和Cygwin在SSH上使用rsync。如果我没有记错，就有一个非cygwin相关的可执行文件可用。

rsync相对于机器人复制有一个巨大的好处，那就是远程端将产生一个rsync代理来完成该端的处理。远程代理可以检查远程文件系统，而不必将所有文件详细信息带回本地计算机进行处理。这比机器人复制要快得多，而且可能是你延迟5个小时的原因。

您还可以在ssh上使用rsync压缩，这可以进一步加快速度。

但是，请注意，Cygwin文件系统ACL和Windows不能很好地结合在一起。如果您需要ACL的完美副本，rsync可能不适合您。在复制文件之后，我不得不编写一个脚本来运行xcacls来“清理”文件上的权限。