亚马逊EC2按需工作人员从事短期任务

Question

我希望构建一个web应用程序，它需要运行资源密集型MCMC (马尔可夫链蒙特卡罗)在R中按需计算，以便为用户生成一些概率图。

制约因素：

1. 显然，我不想在与web应用程序前端相同的服务器上运行资源密集型计算，因此需要将这些任务传递给worker实例。
2. 这些计算需要大量的CPU才能运行，而且我希望保持尽可能低的延迟(希望是秒，而不是分钟)，所以我更愿意在增强器硬件上运行计算。
3. 我不能以每天66美分/小时x 24小时的价格运行一个强大的EC2实例，因此点播或spot请求实例可能是必要的。

以下是我想出的选择：

1. 运行一个廉价的、负担得起的员工实例，每天24小时，由Amazon (或SQS)管理，每次只执行一个任务。

Cons:

- _high latency_ - Cheaper hardware, longer wait times.

​

1. 在每个任务中生成一个更强的工作实例(每当任务被添加到队列中时旋转)，并在完成时终止该实例。

Cons:

- _expensive/wasteful_ - I'd be paying for an hour on the server each time and only using seconds for my calculation

- _startup overhead_ - Would spinning up a new EC2 instance on-demand introduce non-negligible latency (offsetting the whole purpose of utilizing beefier hardware)?

​

1. 像#2，但与低出价的EC2现场请求。

Cons:

- _startup overhead_ - See #2

- _inconsistancy?_ - I've never worked with spot requests before, so I have no idea how volatile or hands-on such a solution would be... do I have to continually adjust my bids to make sure I can still get tasks done at peak hours?  Also, I suppose I'd have to monitor my processes closely to make sure they aren't interrupted mid-calculation.

​

1. 一种混合解决方案，在这种解决方案中，我积极地监视强大的硬件工作者实例及其负载，并在一小时内智能地旋转和终止实例，以保持成本和可用性的最佳平衡。

Cons:

- _complicated and costly setup_ - Unless there's a good managed service out there to handle stuff like this, I'd have to set all all of that infrastructure up myself...

​

我希望有一些服务，在那里，我可以支付一个高可用的按需硬件，每分钟，而不是每小时。

因此，我的问题如下：

• 你建议如何解决这个问题？
• 是否有一个好的EC2实例管理解决方案可以坐在Amazon之上，帮助我负载平衡并终止闲置员工？
• 现场招标会解决我的问题，还是他们更适合于不一定需要立即完成的任务？

Answer 1

还有一种你可能不知道的选择。我只是偶然发现了它：http://multyvac.com

我没有使用它的经验(所以我不能为它提供担保)，但它似乎是我见过的第一个提供真正的“实用计算”的解决方案。它从Python开始，但现在支持任何语言。

Answer 2

我希望有一些服务，在那里，我可以支付一个高可用的按需硬件，每分钟，而不是每小时。

该服务是拉姆达，当您问这个问题时，它是不可用的：

Lambda在高可用性计算基础结构上运行您的代码，并执行计算资源的所有管理，包括服务器和操作系统维护、容量配置和自动缩放。

定价

根据对函数的请求数和代码执行的时间收取费用。 持续时间是从代码开始执行到返回或以其他方式终止为止的时间计算的，舍入到最近的100 is 。 Lambda空闲层包括每月100万次免费请求()和40万GB(每月计算时间)。

还可以使用HTTP端点包装Lambda函数，可能会从应用程序中删除此层：

您可以通过使用Amazon网关定义自定义RESTful API来调用HTTPS上的Lambda函数。这为函数提供了一个端点，它可以响应GET、PUT和POST等REST调用。了解更多有关在Amazon网关中使用AWS Lambda的信息。

注意: Lambda目前只支持JavaScript、Java和Python，所以我不确定您将如何使R工作。您可能需要在其中一个运行时托管R。