公墓和章鱼的替代物

Question

简单地说，octopy和mincemeatpy是地图减少(重量轻)的python实现，客户机可以以即席方式加入集群，而不需要安装(当然，除了python)。下面是项目细节OCTOPY和明克迈。

问题在于它们需要在内存中保存整个数据(包括中间键值对)。因此，即使对于中等大小的数据，它们也会抛出内存异常。

我使用它们的关键原因是：

1. 巨蟒。
2. 不需要安装集群。
3. 我只是原型，我可以直接移植算法，一旦我准备好。

因此，我的问题是:是否有处理相同内容的包，但不只是内存中的包(可以处理中等大小的数据)？

Answer 1

试试PyMapReduce。它在您自己的机器上运行，但在多个进程上运行--因此您不需要构建主节点架构，而且它有大量的运行程序，例如DiskBasedRunner，它似乎将地图数据存储到临时文件中，并在减少它们之后进行存储。