等待作业完成的有效方法: python和drmaa

Question

我想问一下我通过Python使用的drmaa中的“等待”特性。它是否执行常量qstat(如果我们在SGE上运行它)来检查程序是否已经完成执行。

我们的管理员希望我们避免任何常量的qstat，因为它会因为调度程序上的额外负载而降低性能。

一般来说，wat将是一种通过DRMAA检查作业状态的有效方法，而不会过度使用调度程序。

谢谢！-Abhi

Answer 1

从DRMAA的角度来看，没有更好的方法了。API只反映了在shell脚本中可以使用默认命令行工具所能做的事情。

问题在于特定DRMAA库的实现策略，因为SGE提供了比持续轮询更好的获取作业状态的方法，因此updates.You有以下选项：

• 修复您正在使用的DRMAA实现，它依赖于与调度程序的一些直接通信。有线协议的一个信息源可能是Open项目，
• 等待Univa (或其他人)为其网格引擎产品交付DRMAAv2实现。此版本的API支持作业状态更改(http://ogf.org/documents/GFD.198.pdf)上的库回调，这似乎正是您想要的。