用于实时计算密集型任务的云平台？

Question

我正在为下面的场景寻找云计算解决方案，但我在Amazon和类似的服务中找不到任何与我的问题描述相匹配的服务。你知道什么云计算平台可以解决我的问题吗？

一般的问题是:我想在数据流上运行一些数据分析(每秒只有1k )。数据分析由一组独立的线程执行，这些线程对该数据流进行操作。每个线程只计算一个布尔值。我拥有的线程越多，计算结果就越好。

我目前的解决方案是:我从另一个部门用英特尔核心i7搜索了一个盒子，但现在他们想要它:-)。

理想的解决方案:为我提供抽象机器的服务(比如拥有无限资源的JVM )，我可以在其上生成大量的线程。此外，需要有某种连接来流输入数据并返回计算结果(< 1k /秒)。事情应该是实时发生的(而不是像“在接下来的几分钟内”那样被安排执行)。

因此，瓶颈不是内存或磁盘空间，而是计算能力和延迟。(由于我不时需要数据分析，云计算在这里似乎在经济上是合理的。)

Answer 1

为了获得主要供应商的完整性，您可以选择以下几类：

1. 云计算()，从AWS，它是EC2；从谷歌，它是Google (仍然是私有测试版)；来自微软，它是Azure (也还是在私有测试版)。当然，还有许多其他供应商，比如Rackspace (它使用OpenStack等)。考虑到你的情况，我相信这类的东西会是你最好的选择。
2. 基于云的MapReduce (运行在Hadoop上)-来自AWS，这是弹性MapReduce；来自谷歌，来自BigQuery；来自微软，来自于Azure上的Hadoop(仍在测试中)。在这个空间里还有其他的供应商，如well...Cloudera，HortonWorks等.下面是一张清单.
3. 基于云的数据库( RDBMS或NoSQL)这里有许多选择。因为您将您的场景描述为“计算密集型”，所以我认为这可能不需要。但是，取决于上下流量的数量和频率，如果您的方案允许批处理，那么您可以选择上传、处理和存储在云中，然后通过日程安排进行删除。在AWS中，托管关系数据库的方式有很多种-- RDS或EC2是常见的选择；对于谷歌来说，您可以通过Google访问MySQL；对于微软来说，您的选择是Azure VM上的SQL或Server (后者仍处于beta版本)。对于云托管的NoSQL，您有AWS DynamoDB；从谷歌您有或(后者要求您使用GAE)；在微软有Azure存储(表、blobs和队列)。

Answer 2

有趣的是，我只是在使Hadoop运行得更快上写了一篇文章，指出流基处理是为了加快提要的处理时间，而不是批量处理。该解决方案使用一个名为Cloudify的开源项目。

云雾允许我通过一个命令在亚马逊或任何其他云上生成整个环境，并在负载增加时自动缩放处理。

有源代码的演示环境和一步一步的指南可用这里。

在我看来，这可能会满足你的需求--如果不是这样的话，让我知道，我会进一步研究--看看我能不能想出其他的解决方案。

Answer 3

对于您的情况，我将强烈推荐亚马逊弹性MapReduce。有关详细信息，请参阅本文档:- 亚马逊电子病历

如果你是AWS新手，一开始可能会遇到一些小麻烦，但一旦你知道了它的工作原理，那就太棒了。