使用Akka在Scala中快速实现海量文件复制

Question

我想知道将文件src复制到Scala中的dest的最好方法是什么，它将被包装在一个Akka Actor中，并且可能在多台机器上使用一个RemoteActor。

我有大量的图像文件需要从一个目录复制到NFS挂载的目录中。

我没有在Java或Scala语言中做过太多的FileHandling工作，但是我知道从Scala2.7开始已经有了NIO和其他一些库。最安全最快的东西。

我可能也应该给出一些关于我的基础设施的概念。连接大小为1000 MB，其中通过Cisco3560从Isilon节点连接到Windows2003服务器。Isilon节点是NFS装载，Windows 2003 Server是高度配置的Samba(Cifs)装载。

Answer 1

您可能无法超越底层操作系统文件的复制速度，所以如果文件很大，或者您可以对它们进行批处理，那么您最好使用Scala编写一个shell脚本，然后使用bash或诸如此类的命令调用它。有可能一个线程可以使磁盘IO饱和，所以实际上没有什么花哨的事情可做。如果图像很大，您将等待磁盘上的50ish MB/s限制(或100 Mbps以太网上的10ish MB/s限制)；如果图像较小，您将等待文件寻道和网络ping时间等方面的相当多的几十毫秒的开销。

也就是说，您可以使用Apache Commons IO，它具有文件复制实用程序，并且previous question在排名最高的条目中具有高性能答案。你可以让一个参与者处理所有的复制任务，这应该就像你有一群参与者都在争夺同样有限的IO带宽一样快。