如何在超级计算机上使用python中的所有内存？

Question

我用一台超级计算机来适应滑雪模型。系统信息：

Linux ito-2 3.10.0-514.26.2.el7.x86_64 #1 SMP Fri Jun 30 05:26:04 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

超级计算机有4个节点，每个节点有180 and内存。但是，当我跑的时候

import psutil
psutil.virtual_memory()

它回来了

svmem(total=201256185856, available=196754653184, percent=2.2, used=3810926592, free=197162655744, active=229847040, inactive=200900608, buffers=7401472, cached=275202048, shared=21483520, slab=547241984)

显然，这只计算一个节点。python环境确实有这么多内存，而我的代码一直在失败。

如何将4个节点中的所有内存分配给python。

谢谢。

Answer 1

您需要开始寻找dOS (分布式操作系统)或类似的东西。(查看OpenNebula)

您还可以拆分您的工作负载，并使用集群计算工具让它们管理您的工作负载(例如。( Kubernetes)

这一切都取决于你想做什么，你准备走哪条路。