使用依赖项执行多个pyiron作业

Question

我有4份工作(A，B，C，D)，我想开始使用pyiron。所有作业都需要使用SLURM在远程集群上运行。有些工作需要其他工作的结果作为输入。

理想情况下，我希望有这样一个工作流：

• 作业A由用户启动。
• 作业B和C自动并行启动(!)一旦作业A完成。
• 作业D在作业B和C完成后立即自动启动。

我意识到我可以使用一些if-条件和睡眠命令在木星中实现这一点。然而，作业A，B和C可以运行多天，我不想让我的木星笔记本运行这么长时间。

是否有更方便的方法来实现这些工作依赖关系？

Answer 1

我想最简单的方法是使用脚本作业类将整个木星笔记本提交到队列中：

job = pr.create.job.ScriptJob("script")
job.script_path = 'workflow.ipynb'
job.server.queue = 'my_queue'
job.server.cores = 32
job.run()

在这里，workflow.ipynb将是您的当前笔记本，my_queue您的SLURM队列用于远程提交，32是分配的核心总数。