使用GNU并行的qsub作业未运行

Question

我尝试使用GNU并行在多节点(2)和20的PPN中执行qsub作业，但是显示了一些错误。

#!/bin/bash
#PBS -l nodes=2:ppn=20
#PBS -l walltime=02:00:00
#PBS -N down

cd $PBS_O_WORKDIR
module load gnu-parallel

for cdr in /scratch/data/v/mt/Downscale/*;do
  (cp /scratch/data/v/mt/DWN_FILE_NEW/* $cdr/)
  (cd $cdr && parallel -j20 --sshloginfile $PBS_NODEFILE 'echo {} | ./vari_1st_imge' ::: *.DS0 )
done

当我运行上面的代码时，我得到了以下错误(请注意，所有的路径都被正确检查了，没有qsub的相同的代码在正常的计算机上运行正常)

$ ./down 
parallel: Error: Cannot open echo {} | ./vari_1st_imge.

对于$qsub关闭--没有创建输出(&F)

我正在使用parallel --版本GNU parallel 20140622

请帮忙解决这个问题

Answer 1

首先尝试向parallel添加--dryrun。

但我的感觉是，由于某种原因，$PBS_NODEFILE没有被设置，而GNU Parallel试图将命令读取为--sshloginfile。

要测试此功能，请执行以下操作：

echo $PBS_NODEFILE
(cd $cdr && parallel --sshloginfile $PBS_NODEFILE -j20 'echo {} | ./vari_1st_imge' ::: *.DS0 )

如果GNU Parallel现在尝试打开-j20，那么很明显它是空的。