镜像包含数百万个小文件的目录的最快方法

Question

我需要复制一个700克ISCSI安装的文件夹到本地硬盘驱动器上的文件夹，同时维护现有的权限和所有权。文件夹中的数据包含大约100万个文件，其中大部分是小文件，新目录需要与原始目录的权限和所有权完全匹配。

使用rsync -az /original_folder/ /new_folder可以使所有权限正确，但“扫描文件”已经超过了一个小时，甚至还没有开始处理。数据是openvz磁盘共享，过去使用"cp“复制数据时存在权限问题。

是否有更快的方法来复制大量的小文件，同时准确地保留权限和所有权？也许是一些可以避免初始扫描的rsync标志？理想情况下，如果进程被中断，该工具可以拾取所中断的位置。

Answer 1

你考虑过用焦油吗？一些类似于tar -cpOC <sourcedir> . | tar -xpC <targetdir> -f -的东西可能会对你有好处。

Answer 2

您使用的是什么版本的rsync？版本3处理小文件要好得多。您还可以使用-P来了解您所处的位置。

至于从部分恢复..。人力资源管理你可以进入你的根目录运行类似..。

用于*；做rsync -azP $i /newfolder；完成

然后跳过您已经复制的任何子目录

Answer 3

在这种情况下，您可能应该尝试复制卷，而不是试图复制单个文件。

您的iSCSI目标有复制卷的方法吗？