我正在尝试用实时分析解决一个问题。我想要实时计算数值。我接收流数据,用Kafka和Storm处理,最后写到Redis。现在,我想将Redis中存储的所有数据再次推送/拉取到Storm中,以便进行进一步的计算。问题是,这必须每分钟重复一次。因此,每分钟都必须拉取/推送和计算来自Redis的所有值。我不知道这是否是解决问题的正确方法,但我需要一种缓存。你有什么建议吗?
提前谢谢你。
问候
发布于 2016-07-15 17:21:20
你可以改用德鲁伊。它将值存储在kafka中,并使用storm插入值。它是基于列的存储,专为实时分析而设计。redis很快,但你不能用Redis实现所有的分析需求,要实现一个简单的group by或order by查询,你需要编写自己的实现逻辑,而druid是专门为此目的而设计的。
希望这能有所帮助。
https://stackoverflow.com/questions/38382313
复制相似问题