我用这个脚本下载文件。没有-b,wget逐个下载文件。有了-b,我可以在后台同时下载文件。不幸的是,这个脚本在SLURM中不起作用。它只在Slurm中不使用-b即可工作。
下载文件的Script
#!/bin/bash
mkdir data
cd data
for i in 11 08 15 26 ;
do
wget -c -b -q ftp://ftp.sra.ebi.ac.uk/vol1/fastq/SRR116/0${i}/SRR116802${i}/SRR116802${i}_1.fastq.gz
wget -c -b -q ftp://ftp.sra.ebi.ac.uk/vol1/fastq/SRR116/0${i}/SRR116802${i}/SRR116802${i}_2.fastq.gz
done
cd ..Slurm脚本
#!/bin/bash
#SBATCH --job-name=mytestjob # create a short name for your job
#SBATCH --nodes=2 # node count
#SBATCH --ntasks=2 # total number of tasks across all nodes
#SBATCH --cpus-per-task=2 # cpu-cores per task (>1 if multi-threaded tasks)
#SBATCH --mem-per-cpu=4G # memory per cpu-core (4G is default
#SBATCH --time=10:01:00 # total run time limit (HH:MM:SS)
#SBATCH --array=1-2 # job array with index values 1, 2
#Execution
bash download.shOn终端:sbatch slurmsript.sh (不工作) no jobid
发布于 2021-02-14 10:21:01
使用作业数组,您可以同时下载文件(每个数组任务的e.g.one下载)。不需要把我们放到背景里。根据我的经验,实际上,如果您试图通过在后台启动一个进程来“释放”slurm脚本命令行,slurm将在slurm提交脚本完成执行时终止作业(但您的任务可能仍然在后台运行)。所以这是你想要的前景与斯隆!
https://unix.stackexchange.com/questions/629582
复制相似问题