使用Elasticluster在Google计算引擎上指定并行环境

Question

我最近使用Elasticluster (http://googlegenomics.readthedocs.org/en/latest/use_cases/setup_gridengine_cluster_on_compute_engine/index.html)在计算引擎上创建了一个网格引擎集群。

我想知道在运行Grid Engine的Compute Engine虚拟机集群上运行共享内存多线程批处理作业的合适命令是什么。

换句话说，网格引擎并行环境的名称(即pe_name)是什么。

假设我想在1个节点上运行一个请求4个cpus的作业，什么是正确的qsub命令。

到目前为止，我尝试了以下命令：

qsub -cwd -l h_vmem=800G -pe omp 6 run.sh Unable to run job: job rejected:请求的并行环境"omp“不存在。

谢谢你的帮助!

Answer 1

我不相信Elasticluster的Ansible剧本包含并行环境。您可以在此处看到主服务器上运行的主配置：

https://github.com/gc3-uzh-ch/elasticluster/blob/master/elasticluster/providers/ansible-playbooks/roles/gridengine/tasks/master.yml

我相信您可以简单地连接到master并发出"add parallele environment“命令：

$ qconf -ap smp

并编写配置文件，如下所示：

pe_name         smp
slots           9999
user_lists      NONE
xuser_lists     NONE
start_proc_args /bin/true
stop_proc_args  /bin/true
allocation_rule $fill_up
control_slaves  FALSE
job_is_first_task  FALSE
urgency_slots   min
accounting_summary FALSE

然后修改all.q的队列配置：

$ qconf -mq all.q

...
pe_list             make smp
...

我还建议在这里向Elasticluster提交一个问题：

https://github.com/gc3-uzh-ch/elasticluster/issues

我希望有人已经在Elasticluster的fork中这样做了，并且能够向主fork提供一个拉取请求。

希望这能有所帮助。

-Matt