Python for New Distributed Computing Project？

Question

我需要写一个计算密集型的模拟程序。我试着写了这个程序的多线程版本，但它花费了太多的时间。现在我计划扩展到多个节点(可能是通过亚马逊EC2节点)。

我已经熟悉Python了。如果我关心速度，Python配备一些并行模块是一个可行的选择吗?或者我最好使用其他的框架/语言，比如Erlang？

你能用Erlang写一个模拟程序吗？

该项目更多的是关于划分计算，而不是划分数据集，所以我没有考虑基于map reduce的框架

Answer 1

dispy是一个使用Python进行分布式计算的框架。它使用asyncoro，这是一个使用协程进行异步并发编程的框架，具有erlang的一些特性(广义上讲)。免责声明:我是这两个框架的作者。

Answer 2

如果您已经熟悉python，我建议您使用python进行模拟(并在C中加速关键部分)，并使用Erlang对其进行管理。在Erlang中编写模拟将远远超出您的舒适区(即使是我个人也会这样做)。您可以将Erlang项目的一部分作为Disco project或Riak core重用。使用一些次优的POC开始你的项目，并在迭代中调整它。这意味着从python开始，将其嵌入到Erlang (可能是Disco)中，然后到处移动代码，直到您对性能和功能不满意为止。你可以得到任何东西，包括纯Erlang解决方案，或者在BEAM中使用NIF的修正Python，或者任何满足你需求的东西。

Answer 3

你的问题是否可以平行化？那么你可能想要看一看Elastic Map Reduce而不是EC2。