传输大量的小文件

Question

我必须对两个带有大型SAN附件的服务器迁移到我们的新VMWare环境。

编辑:我必须提供一些额外的情报，因为我有关于VMWare解决方案的好答案。

好的，由于服务器上的一些技术限制，我不能在新系统上附加以前的EMC LUN。

我不能使用VMWare转换器在我的新VM上克隆丢失的卷，因为VMWare转换器看不到EMC PowerPath伪设备，而之前的管理员使用这些伪设备在此基础上构建LVM2和/或ASM卷。

这两个物理服务器连接到一个旧的EMC 2 CX-340 SAN上，处理5TB的数据。

那些5TB的数据是小PDF，我需要通过我们的1Gbit/s局域网把它们传送到新机器上。

我尝试过使用rsync，但是它确实会减慢内存和CPU的性能，并对它们产生很大的影响。

我尝试使用带有TAR的NC，但是传输速率非常慢，因为我在1Gbit/s链路上的平均吞吐量约为50 NC/S，流量几乎为零。

你能给我一些关于这种迁移的建议或经验吗?你是如何在合理的时间内正确完成的？

Answer 1

如果您确实需要一种快速传输文件的方法，并且这两个系统都是基于Linux的，那么可以尝试使用UDR。

这实际上是rsync over UDP的一种形式(使用开源UDT框架)，对于移动大量文件或通过高带宽或高延迟链接传输特别方便。此外，默认情况下，加密是禁用的，因此RAM/CPU命中率低于传统的rsync。SSH也没有参与其中。

我可以很容易地获得超过1Gbps的在线传输，在一个目录树中有1000万个TIFF文件。

您的语法将从rsync略为修改。所有rsync标志都需要出现在源/目标规范之前：

udr rsync -avP --stats --delete /data/ server2:/data/

容易建造..。您需要g++和openssl-devel：

git clone https://github.com/LabAdvComp/UDR.git
cd UDR/
make
cp src/udr /usr/local/bin/

在源和目的地上这样做。

请参阅：SSH业务广域网优化的可能性

Answer 2

如果在没有加密的守护进程模式中使用，rsync可以有效地传输大量的小文件。再次尝试在守护进程模式下使用它。

Answer 3

您是否考虑过直接向新VM公开SAN -这通常工作得很好，并且比将文件复制到VMDK快--尽管它可以将VM“锁定”到它们的初始主机上。但是您可以使用它来完成工作，然后以自己的速度(使用rsync )将文件迁移到VMDK中，然后切断到原始LUN的链接。