从大量数据计算统计数据

Question

我从事一个拥有大约50万活跃用户的项目。我们跟踪许多用户交互事件(点击等)。使用这些事件，我们需要计算用户行为的统计数据。当前，统计信息在CRON后台任务中得到计算。

我们希望统计数据尽可能“在线”-例如，从0到30分钟不等。另外，我们还要计算更多的统计数据。所以解决方案必须是可伸缩的。

我的想法是让队列处理由前端应用程序推送到的事件，并由守护进程以增量方式处理事件计算统计数据。可以根据需要添加守护进程，可以为不同的统计数据添加不同类型的守护进程。你能推荐这种方法吗？

是否有这样的数据处理框架？链接到任何资源将是非常有用的。

Answer 1

Twitter似乎就是我想要的- https://github.com/nathanmarz/storm。