在HPC作业中提交HPC作业

Question

我有一个大型脚本，它依赖于输入参数(带有getopts)。其中一个参数是包含文件的目录(全部命名为*bam) --这个脚本有两个部分：

• Part1:基于输入*bam文件，计算一个特定的数字。要明确的是，结果是每个文件只有一个数字，而不是一个数字。
• 第2部分:使用part1中的数字，对每个*bam文件执行一系列操作。

现在，最初，part1非常快，从计算上讲。所以我的设计是：

• 在终端上运行脚本: bash script.sh
• 在script.sh中，对于part2，为每个文件提交一个HPC作业。

然而，现在我需要分析比原来计划的更多的文件，我意识到Part1在计算上也会很繁重，因此我也需要在高性能HPC上运行它。

所以我的问题是：

• 是否可以提交一个HPC工作，并在其中提交工作？
• 换句话说，我是否可以将script.sh作为一个作业提交，并且仍然在其part2中提交作业？

为了清楚起见，下面是我的脚本的一个示例：

#!/usr/bin/bash

# PART 0: accept all input arguments

USAGE() { echo "Usage: bash $0 [-b ] [-o ] [-c ]" 1>&2; exit 1; }

if (($# == 0)); then
        USAGE
fi

# Use getopts to accept each argument

while getopts ":b:o:c:h" opt
do
    case $opt in
       b ) BAMFILES=$OPTARG
        ;;
       o ) OUTDIR=$OPTARG
        ;;
       c ) CHROMLEN=$OPTARG
        ;;
       h ) USAGE
        ;;
       \? ) echo "Invalid option: -$OPTARG exiting" >&2
        exit
        ;;
       : ) echo "Option -$OPTARG requires an argument" >&2
        exit
        ;;
        esac
    done

# PART1: calculate this unique number

NUMBER=0    

for i in  $(ls $BAMFILES/*.bam)
do
  make some calculations on each file to obtain a number ...
  keep only the smallest found number and assign its value to $NUMBER
done

echo "Final number is ${NUMBER} "

# PART2: Using $NUMBER that we found above, submit a job for each *bam file

for i in $(ls $BAMFILES/*bam)
do

    if [ ! -f ${OUTDIR}/${SAMPLE}.bw ];
    then 
        command=" command -options -b $NUMBER $i"

    echo $command | qsub -V -cwd -o $OUTDIR -e $OUTDIR -l tmem=6G -l h_vmem=6G -l h_rt=3600 -N result_${SAMPLE}

    fi

done

Answer 1

答案是“视情况而定”。您的HPC集群可以设置为使执行节点能够提交作业，但这不是一个要求。听起来像一个快速的问题，你当地的HPC管理员会给你一个明确的答案。或者，您可以尝试一个快速脚本，它只会提交第二个作业，并查看它是否有效。