Slurm多处理Python作业

Question

我有一个4节点Slurm集群，每个都有6个核心。我想提交一个测试Python脚本(它产生的进程打印正在运行的节点的主机名)，它使用以下多处理：

def print_something():
  print gethostname()

# number of processes allowed to run on the cluster at a given time
n_procs = int(environ['SLURM_JOB_CPUS_PER_NODE']) * int(environ['SLURM_JOB_NUM_NODES'])
# tell Python how many processes can run at a time
pool = Pool(n_procs)
# spawn an arbitrary number of processes
for i in range(200):
    pool.apply_async(print_something)
pool.close()
pool.join()

我用一个SBATCH脚本提交这个脚本，它指定了nodes=4和ntasks每个节点=6，但是我发现这个脚本被执行了4*6次。我只想让作业执行一次脚本，并允许Slurm在集群中分发生成的进程。

很明显我不明白什么.？

Answer 1

好吧，我想出来了。

我需要更好地理解SBATCH和SRUN之间的关系。主要而言，SBATCH可以充当SRUN调用的全局作业容器。

这里最大的因素是从到Subprocess。这样，SBATCH就可以执行python脚本，而python脚本又可以动态地调用另一个python脚本的SRUN子进程，并适当地分配集群资源。