是否有与Torque/PBS一起工作的DRMAA Java库？

Question

有人知道DRMAA的Java实现吗?众所周知，它与PBS/Torque集群软件一起工作？

背景:我想使用符合DRMAA的API从Java向一个新设置的linux集群提交作业。集群由PBS/扭矩管理。Torque包括用于Torque/PBS的PBS DRMAA1.0库，该库包含DRMA绑定，并在libdrmaa.so和.a二进制文件中提供。我知道Sun网格引擎包括一个提供的drmaa.jar。事实上，我选择了使用SGE，但它决定先尝试PBS。

这一决定背后的理论是：

drmaa是一个标准，因此Java只需要符合标准的drmaa绑定。但是，我找不到这样的“通用”，现在假设这个假设是错误的，而且Java库是特定于引擎的。

编辑:我刚刚尝试了来自太阳网格引擎包的drmaa.jar，并试图将它与pbs libdrmaa.so交叉使用。毫不奇怪，这个失败(JNI不满意的链接错误)。

结论:它不是那样工作的！经过一番搜索，我只看到以下几个选项：

1. 在Globus工具包的顶部安装GridWay。安装在PBS之上的GridWay声称在Java中提供了DRMAA。我的背景看起来太复杂了。
2. 报废DRMAA，通过调用系统命令qsub、qstat等从Java提交给PBS。简单但不太好。
3. 我自己实现一个drmaa绑定。太复杂了。
4. 切换到网格引擎。在语言绑定方面，GE在我看来优于PBS。

我倾向于选择2或4.有什么建议吗？

Answer 1

经过更多的搜索，看起来我得自己写点东西了。似乎还没有最理想的答案，但它可以作为对那些尝试同样的人的警告。

问这些问题最好的地方可能是Torque邮件列表: www.clusterresources.com/resources/mailing-lists.php

首先，您不能只使用任何DRMAA库并将其与任何DRMAA实现一起使用的原因是:DRMAA描述资源控制的接口，而不是如何实现它。供应商可以使用DRMAA实现，并且只使用这些功能，但它们不必这样做。它可以使用发动机里的任何东西。因此，一个重要的信息是:如果您需要特定的语言绑定，请确保它们存在于所有所需的语言中。

关于上述备选方案：

1. 使用GridWay/Globus：http://www.gridway.org/doku.php?id=start优势: Gridway是一个支持许多资源管理系统(SGE，PBS，.)的元调度程序。可能是目前获得DRMAA接口与PBS协同工作的唯一方法。缺点:这似乎是层次性和复杂性的膨胀。对此没有经验。
2. 使用系统命令，qsub，qstat，qdel。优点:快速黑客的缺点:肮脏的黑客，需要为输出实现解析器，如果出了什么问题，可能不会注意到，从stdin/stdout/stderr传递消息，而不是可移植的。
3. 使用JNI，应该可以为drmaa.c中的每个c-函数创建一个绑定:将提供一个完整的drmaa实现(希望) Disadvanteges:涉及编译代码，很多C-函数的手动包装(也许这是可以自动化的)。
4. 切换到另一个网格引擎。可能，我们之前就应该做这个分析。然而，我们已经有了另外一个扭矩集群，并且有经验。第二个操作将创建更加异构的基础设施。
5. 从不同的供应商更改现有的drmaa库。不知道这是否可行..。我们也会调查的。

Answer 2

我也有这个问题。这是一个为PBS/ to创建面向对象的C++和Java绑定的项目。

缺点是您必须能够加载从C++代码创建的库，因此它不是一个只能作为.jar文件分发的“纯libdrmaa.so”实现，而是期望最终用户自己提供"libdrmaa.so“。

无论它的价值是什么，它在这里：https://github.com/bryan-lunt/PBSJavaDRMAA/

Answer 3

你决定过怎么处理这件事吗？您是否设法使Java绑定与Torque/PBS一起工作？我想让一些Java代码在Torque/PBS系统上工作，如果你已经做了艰苦的工作，我很想偷它。

但是，如果您没有这样做，那么做一些Java绑定应该不会太糟糕，如果没有其他人这样做，我将这样做。几年前，我成功地修改了用于SGE的DRMAA Java绑定，以便为Xgrid使用一个新的DRMAA实现(现在已经过时，但可能很快就会恢复)。

我甚至写了一篇简短的博客文章，介绍我的经历(包括一个指向一般说明的链接)：

http://edbaskerville.com/2006/07/11/java-bindings-working/