作业调度软件

Question

我正在寻找软件，以改善我的工作流程，当运行计算(数字)演示。

在看到了在超级计算机世界中，使用PBS是如何做到的之后，我想为自己获得一些好处。

我想做作业脚本，然后离开它们。(与我目前的情况不同，你可以像母鸡一样管理一份工作，看着它工作。这是浪费时间。)我想安排多个作业，并让他们运行时，计算机容量是免费的。

基本上，我说了8个计算实验，我不能一次全部运行，因为其中2个占用24 my的RAM，其余的使用10 my，(我的系统只有32 my的RAM)。我目前的工作是内存有限，但我希望任何作业计划软件也支持CPU (/thread)有限的任务。

我只有一台服务器，但它非常粗俗。我不是唯一的用户，但是大多数时候，所有其他用户只做一些简单的事情，比如运行命令行聊天客户端和文本编辑器。

• 操作系统运行在(Wheezy) Debian Linux上
• 价格:免费，像啤酒一样。(免费提供)。我很好，如果它是免费的，不为利润或研究用途。
• 绝对不能:要求它(/its作业)是服务器上唯一发生的事情
• 应:支持python作业簿
• 应该:把结果发电子邮件给我。(包括标准输出等)
• 应该:可以通过debain软件包管理器安装。这是否合适(这不是一个交易的破坏者，但如果有这样的机会，那就太好了)
• 不:需要任何类型的集群支持。
• 不需要:需要任何类型的GUI

我只听说过扭矩，我不知道有谁使用过它，也不知道它有多大。

Answer 1

看看斯隆。

• 操作系统有一个Debian包(来源)
• 价格:同样，它有一个Debian包。
• 其他东西可能在服务器上运行。
• 只要它是可执行的，就可以提交一切(随你喜欢的参数多少)。
• 电子邮件:我不知道是否有直接的支持。但我认为这可能是你提交的剧本的一部分。最终，您可以编写一个包装器脚本，该脚本将提交给SLURM，只会调用实际的脚本，在准备就绪时接收结果并发送电子邮件。
• GUI:我想有GUI，但我从来没有用过，因为我在大学使用SLURM而不是SSH。
• 支持集群(我在HPC集群上运行语音识别)

重要的命令是：

• 史巴奇：提交一份工作
• 童子军：取消一项工作
• 吱吱声：见所有作业

Answer 2

看看哈德森或者它的(可能更活跃的) 詹金斯叉。它们是“持续集成”服务器，用于控制自动软件构建，但也可用于启动自动测试等等。我对该软件并不十分熟悉，但这里有一个概述：

• OS:基于Java/Tomcat；运行在Linux上；提供Debian软件包
• 价格:免费(如自由和啤酒)
• 电子邮件:支持
• GUI:用于配置等的web接口；然后可以通过使用wget/curl访问它们的URL来启动已配置的作业。
• 运行任何shell命令。
• 对于每个主机，都可以指定允许并发作业的数量；作业将排队直到有一个插槽可用为止。
• 如果主机上正在运行其他东西，那就不麻烦了
  • 但是，AFAIK没有“全局”系统负载检查。