哪一种方法能最快地将1Petabte从一个存储区转移到一个新存储区？

Question

首先，谢谢你的阅读，很抱歉问了一些与我的工作有关的事情。我知道这是我自己应该解决的问题，但正如你们所看到的，这件事有点困难。

一个小小的描述：

Now

=> 1PB存储采用DDN S2A9900存储为OSTs，4个OSS，10个GigE网络。(光泽1.6)

具有2xInfiniband的100个计算节点

1个带36个端口的infiniband交换机

后

使用DDN S2A 990或LSI E5400 (尚未决定)存储以前的存储器+另一个1PB (lustre2.0)

8 OSS，10 10GigE网络

具有2xInfiniband的100个计算节点

以往经验:使用以下命令在不到3天内转移120 TB：

 tar -C /old --record-size 2048 -b 2048 -cf - dir | tar -C /new
--record-size 2048 -b 2048 -xvf - 2>&1 | tee /tmp/dir.log

所以，这里的大问题，使用大的数学方程，我得出结论，我们需要一个月的时间把数据从一边传递到新的。在这段时间里，研究人员需要后退一步，我个人对此并不满意。

我告诉您，我们有infiniband连接，因为我认为这可能有机会使用它来使用18个计算节点(18 *2IB=36个端口)将数据从一个存储转移到另一个存储。我正在努力弄清楚IB交换机是否会处理所有的流量，但万一它烧掉了，速度会比使用10 10GigE更快。

而且，在同一服务器上拥有lustre 1.6和2.0代理运行得很好，因此不需要使用1.8来用两个步骤升级元数据服务器。

有什么想法吗？

非常感谢

注1: Zoredache，我们可以把它分成两个块(A)600 we和(B)400 we。其想法是将(A)移动到新的存储区( lustre2.0格式)，然后用lustre2.0格式化(A)，将(B)移到这个lustre2.0块，并扩展(B)所在的空间。

这样，我们将在单独的文件系统上以(A)和(B)结束，每个文件系统都有1PB。

Answer 1

我们的目标是获得它，这样旧存储和新存储之间的每一层都比从旧机器获得的最大读取速度更快。他们的规格要求6GB/s顺序(这应该是)。这意味着，移动数据的最小时间将在46小时内，如果你能得到广告的速度。

当你用焦油在3天内移动120 TB的时候，你的平均速度肯定不到每秒半GB，这比规格声明中的6GB/S要少得多。真正的数字可能在中间的某个地方。

首先，焦油可能是你的问题。我是一个存储的人，不是一个unix的人，但据我所知，它可以限制您的吞吐量基于处理器的速度。如果坚持这种方法，可以通过增加运行迁移的节点数量并让它们在dataset的不同部分上工作来降低迁移窗口。继续添加节点，直到旧机器无法更快地处理文件。

其次，确保您能够尽可能快地从迁移节点写入新存储。这可能意味着调整新存储上的一些设置(特别是如果它有一个老式的镜像写缓存)，以及确保不存在网络瓶颈。

最后，这可能有点牵强，如果您可以选择停机时间，并且此框通过FC为LUN提供服务，则可以在数据路径中插入存储虚拟化设备，以便在迁移过程中继续使用存储，尽管速度较慢。IBM的SAN卷控制器、Falconstore的虚拟化设备或HDS存储阵列都能够在不中断主机访问的情况下实现后台数据迁移的自动化。它们中的任何一个都不会像您习惯的那样快，但它将允许您在完成从新存储头工作所需的短暂中断后进行迁移时完成工作。

它可能不值得买一个，因为你不会使用它后，你完成了迁移，但你可能可以借或租一个。