如何使用esper进行横向扩展？

Question

我一直在寻找用于流处理的Esper (和Storm)。Esper似乎做的正是我想要的..例如，轮询方法，中值，复杂查询，等等。但有一件事让我感到疑惑。

如何使用Esper向外扩展到多个实例？

据我所知，Storm处理分布式处理，但使用Esper，您可以自己处理。

在可预见的未来，我不需要这样做，但随着我们的增长，我们的数据量也将需要向外扩展。我们最有可能部署在亚马逊EC2上。

在将数据发送到我的Esper应用程序之前，我是否需要运行多个服务器和共享数据？

有没有更优雅的方式来处理它？

-Sajal

Answer 1

您可以在螺栓中运行Esper实例，这意味着Storm将处理元组/事件联合，而Esper将处理它在给定螺栓中接收到的事件的CEP。

这里有一些关于在Storm bolt中嵌入Esper的代码和信息：http://tomdzk.wordpress.com/2011/09/28/storm-esper/

然而..。您需要有一个支持处理数据子集的相对无状态Esper引擎的用例。

例如:您正在计算每个城市的日平均温度。如果不使用基于城市字段的shuffleGrouping来分发您的元组，那么每个Esper螺栓可能会在每个城市有一组不同的数据。

基本上，在提交到此架构之前，请务必阅读有关数据在Storm拓扑中是如何分布的。

Answer 2

从你的问题看，EsperHA似乎是相关的？你看过了吗？

EsperHA是针对零停机时间电除尘器/电除尘器事件处理的完整解决方案。它将Esper与本地内存缓存相结合，将弹性溢出到磁盘或数据库，将群集配置与热备份功能相结合。