在amazon ec2/S3上开发数字处理应用程序的工作流程

Question

关于在EC2/S3上部署数据处理应用程序的文章已经很多了，但我想知道，开发这类应用程序的典型工作流程是什么？

假设我有一个1TB的时间序列数据，我已经设法将其存储在S3上。我如何编写应用程序和进行交互式数据分析来构建机器学习模型，然后编写大型程序对其进行测试？换句话说，在这种情况下，如何建立一个开发环境？我是否要启动一个EC2实例，在该实例上开发软件并保存我的更改，然后在每次要执行某些工作时关闭该实例？

通常，我启动R或Pylab，从本地驱动器读取数据并进行分析。然后，我基于该分析创建应用程序，并将其放在该数据上。

在EC2上，我不确定我是否能做到这一点。人们是否将数据保存在本地以供分析，并且仅在有大型模拟作业要运行时才使用EC2？

我非常想知道其他人在做什么，特别是那些拥有基于EC2/S3的整个基础设施的初创公司。

Answer 1

我们创建一个基线，custom AMI，其中包含我们知道的所有程序，这些程序在AMI上总是需要的。

我们开发(并不断更新)的软件存储在外部存储上(我们使用Maven存储库，但您可以使用任何适合您的环境的存储。

然后，我们启动我们的自定义AMI，其中包含我们需要的所有东西，从Maven部署最新版本的软件，我们就可以开始工作了。

因此，工作流程是：

设置

使用我们始终需要的东西创建自定义AMI

持续

开发软件在本地将二进制文件部署到外部存储(在我们的示例中为Maven存储库)根据需要启动多个自定义AMI实例将二进制文件从外部存储复制到每个实例上运行的每个实例

Answer 2

I-slash-我们在做你想做的事情上有一些经验。Eric J.所说的基本上概括了这一点。但请允许我重申，

1. 在始终处于运行状态的服务器上设置代码库。我们使用subversion。此服务器不需要是ec2计算机，也可以是ec2。你自己选吧。
2. 通过以下方式构建自定义AMI：(a)在EC2机器上签出代码库。(b)在此计算机上安装所有代码依赖项。(c)将镜像保存在s3上。
3. 下一次启动时将AMI保存在1中。做实验，随意更改代码，检查subversion中的更改，以便当您回来时将其保存在subversion中。
4. 另一种方法是使用EBS卷。每次启动EC2实例时，都要将EBS卷附加到该实例。此卷可以容纳您的代码以及您需要在云上持久化的任何其他内容！