Slurm Workload Manager的作业提交问题

Question

我使用的计算机集群有20个节点，每个节点有16个CPU。我尝试使用"sbatch XX.sbatch“命令向所有节点提交1,000个作业。我想要的是320个作业同时运行，即每个节点16个作业，或每个CPU 1个作业。

当我使用。带有XX sbatch文件中的参数的sbatch文件是

#!/bin/bash
# Interpreter declaration
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX

./example.sh

我注意到每个节点上只有一个作业在运行。

然后我试着

#!/bin/bash
# Interpreter declaration
#SBATCH -N 20
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX

./example.sh

我注意到在20个节点中只有1个作业在运行，即每20个节点1个作业。

然后我试着

#!/bin/bash
# Interpreter declaration
#SBATCH -N 20
#SBATCH -n 320
#SBATCH -c 1
#SBATCH --ntasks-per-node=16
#SBATCH -J job_XX

./example.sh

尽管如此，1个作业正在使用所有20个节点。

有人知道怎么修吗？谢谢。

Answer 1

嗯，如果你想要多个工作，你需要提交多个工作。如果您只调用sbatch XX.sbatch一次，则只会创建一个作业(不完全正确，见下文)。

如果你想创建1000个作业，你可以简单地创建一个for循环来提交1000个作业：

for i in {1..1000}
    do sbatch XX.sbatch
done

这将创建1000个作业，每个作业有一个核心(如果我们以您的第一个作业脚本为例)，它们将填满所有可用的320个作业。但是：在这样的for循环中调用sbatch对于调度器来说不是很好。有一种更好的方法可以提交许多类似的作业：作业阵列。

它们一次提交单个作业脚本的次数不限。在作业脚本中，您可以使用$SLURM_ARRAY_TASK_ID等环境变量来控制您的脚本，使它们执行完全相同的操作。

以你的第一个jobscript为例：

#!/bin/bash
# Interpreter declaration
#SBATCH -N 1
#SBATCH -n 1
#SBATCH -c 1
#SBATCH -J job_XX
#SBATCH --array=0-1000

#Do something with the env vars e.g. use them as parameters for your script
./example.sh $SLURM_ARRAY_TASK_ID

当使用sbatch XX.sbatch提交时，这会一次创建1000个作业，每个作业都使用一个内核，因此会填满所有320个可用内核。