超额CPU周期货币化的解决方案

Question

我的公司有一个很大(相对)的计算机场，比方说，每月从一些硬件提供商(比如Leaseweb或OVM)租借100个物理服务器(双CPU e5 xeons和160 Gb内存)，这意味着1月1日我支付所有100台服务器在2月1日至29日期间使用的费用。

服务器为合作伙伴X，Y，Z提供服务。合作伙伴支付我们公司使用服务器的费用:如果他们停止使用服务器，他们就不支付我公司的费用。

假设合作伙伴X在1月2日完全停止使用我们的服务器，我现在有30%的服务器返回零收益:我损失了30%的投资资金。

鉴于这种情况：

• 是否有任何现有的工具、集群管理或供应工具允许我快速地将这些系统配置为HPC或云计算资源？
• 哪些现有的调度和资源管理工具可以允许客户端向上述集群提交计算工作负载？
• 前面提到的任何资源管理器是否与计费或客户端帐户管理解决方案快速集成？

Answer 1

这类事情是可能的，但从逻辑上讲，它可能涉及到几个关于设置基础设施的更具体的问题，这些问题将是特定于实例的。

这类事情已经在高性能计算(HPC)社区中尝试过几次，但大多数都没有成功。以下是一些可以帮助你成功的方法

1. 您提到的系统低于许多机构的计算需求，这些机构有足够的计算负载来需要其专用系统以外的按需资源。
2. 如果没有高速互连(我指的是Infiniband)，所有节点之间都有100个节点集群，您所描述的系统没有实际的HPC用途，100 Raspberry Pi's很可能对您可能要针对的通信密集型的实际工作负载同样有效。
3. 几乎所有的HPC、云计算和高吞吐量计算工作负载(可以使用这种集群的类型)都是数据密集型的，因此您可能需要资源来创建至少一个额外的存储集群，以及备份基础设施、托管其他人员数据的策略，以及某种重要的internet连接，以便客户端通过它来上传和下载数据。
4. 如果您确实希望实现这个目标--硬件擅长的特定工作负载--请查找运行该类型工作负载的潜在客户端，并查看他们是否希望使用旧的/利用率不足的硬件集群。如果您选择使用客户端可能使用的工具和应用程序预先设置群集，请确保所有内容都具有最新的安全修补程序和功能，以及该软件的遗留版本。严格测试资源管理器和调度服务，并记录如何使用它们，最好是使用与实际工作负载类似的基准测试或测试。将这些文档和一些示例工作负载以多种格式提供给客户端。也要准备好有人随时待命，以便根据SLA处理客户端问题。
5. HPC是不容易的，准备雇用至少一个向导来安装和维护您的集群，期望它需要很长时间才能找到一个人来填补这个职位，并且准备好做那个人说的任何事情。