Rsync大型小文件数据集5TB +M小文件

Question

我遇到了这样一种情况:应用服务器配置错误导致创建了大约5TB数据集，其中每个dir包含大量小文件。我们正在传输文件和更改应用程序，但是rsync在传输数据时失败了。即使在本地驱动器之间，它也是失败的。我一夜之间只复制了3.5G！我试着改变rsync开关，但还是没有运气。以下是当前在没有任何进度指示的服务器上运行的内容: rsync -avhWc -非压缩-进度源目的地-一些人建议使用github，但是github和站点不可用。有人能建议一种转移文件的方法吗？感谢任何帮助

Answer 1

试试xargs+rsync：

 find . -type f -print0 | xargs -J % -0 rsync -aP % user@host:some/dir/

您可以使用-n控制将多少个文件作为源传递给每个rsync调用，例如在每个rsync上复制200个文件：

 find . -type f -print0 | xargs -n 200 -J % -0 rsync -aP % user@host:some/dir/

如果速度太慢，可以与-P选项并行运行rsync的多个副本：

find . -type f -print0 | xargs -P 8 -n 200 -J % -0 rsync -aP % user@host:some/dir/

这将启动8个副本的rsync并行。

Answer 2

如果这是一个可信/安全的网络，并且您可以在目标主机上打开一个端口，那么在另一台计算机上复制树的一个好方法就是将tar和netcat结合起来。我不是在终端，所以不能写完整的演示，但这个页面做得很好：

http://toast.djw.org.uk/tarpipe.html

绝对是用压缩。在最好的情况下，您可以以吞吐量的速度传输数据--这是三个潜在瓶颈中最慢的一个--在源上读取、网络上读取、在目标上写入--许可。

Answer 3

没有指定服务器操作系统-你考虑过机器人复制吗？不过，它是基于Windows的。支持线程化、重试和带宽限制。UNC到UNC有能力。RoboCopy文档

快速谷歌的rsync显示unix / windows..。也许你在用窗户。