在aws上进行批处理的建议

Question

我是使用AWS的新手，所以如果您有任何建议，我将不胜感激。我需要使用我们的内部软件来处理大文件。

它需要大约2 2GB的输入，并生成5 2GB的输出，在c3.8xlarge上运行2小时。

现在我手动启动一个实例(按需或spot-request)，但现在我想可靠地自动化和扩展此处理-有什么好的框架、平台或amazon服务可以做到这一点？特别是考虑到spot-instance中途终止的可能性(我需要检测到这一点并重新启动作业)。

我听说过Python Celery，但它在amazon和spot-instances上能很好地工作吗？或者有其他推荐的机制吗？

谢谢!

Answer 1

这在某种程度上是基于观点的，但您可以混合和匹配一些AWS部分，以使这一点更容易：

CloudFormation.

• use

• 将输入数据放入S3

• 将指示作业需要处理的条目推入SQS队列。

• 在SQS队列中使用您的机器描述设置autoscaling policy based on SQS以设置机器并启动application

• write代码以接收队列条目、开始处理、完成处理，然后删除SQSautoscaling policy based on SQS UserData/cloudinit应检查另一个排队条目。如果没有，代码应终止计算机。