将参数传递到slurm脚本

Question

我使用slurm脚本在集群上运行用于Matlab计算的数组。每个脚本都使用一个数组来循环matlab参数。

1)是否有可能创建一个shell脚本来循环另一个变量？

2)可以将变量传递给slurm脚本吗？

例如，我的slurm文件当前看起来像

#!/bin/bash
#SBATCH --array=1-128
...
matlab -nodesktop r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=['Person24']; myfunction(frame, filename);";

我经常需要运行这个数组来处理许多不同的文件。这意味着我将提交作业(S批处理exampleScript.slurm)，编辑文件，将'Person24‘更新为'Person25'，然后重新提交作业。当我有大量文件要处理时，这是相当低效的。

我可以创建一个shell脚本将一个变量传递给slurm脚本吗？例如，如下所示：

Shell脚本(myshell.sh)

#!/bin/bash
for ((FNUM=24; FNUM<=30; FNUM+=1));
do
     sbatch myscript.slurm  >> SOMEHOW PASS ${FNUM} HERE (?)
done 

Slurm脚本(myscript.slurm)

#!/bin/bash
#SBATCH --array=1-128
...
matlab -nodesktop -nodisplay r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=[${FNUM}]; myfunction(frame, filename);";

在这里，我可以使用类似sbatch myshell.sh之类的工具有效地提交所有的作业。

谢谢!

Answer 1

为了避免与shell和环境变量发生名称冲突，在Bash脚本中始终使用小写或混合大小写变量是一个好习惯。

你差点就到了。您只需要将变量作为参数传递给第二个脚本，然后根据位置参数在那里提取它。在本例中，您似乎只传递了一个参数，因此$1可以使用。在其他情况下，对于一个固定数的多个参数，您也可以使用$2、$3等。使用可变数量的参数"$@“更合适。

Shell脚本(myshell.sh)

#!/bin/bash
for ((fnum=24; fnum<=30; fnum+=1))
do
     sbatch myscript.slurm "$fnum"
done 

Slurm脚本(myscript.slurm)

#!/bin/bash
#SBATCH --array=1-128

fnum=$1

...
matlab -nodesktop -nodisplay r "frame=[${slurm_array_task_ID}]; filename=[${fnum}]; myfunction(frame, filename);";

对于处理各种超时条件，这可能有效：

A=$(sbatch --parsable a.slurm)

case $? in
    9|64|130|131|137|140)
        echo "some sort of timeout occurred"
        B=$(sbatch --parsable --dependency=afternotok:$A a.slurm)
        ;;
    *)
        echo "some other exit condition occurred"
        ;;
esac

您只需要决定您想要处理的条件以及如何处理它们。我列出了所有似乎涉及暂停的内容。