使用Hadoop、Apache、HBase实现lambda体系结构

Question

我想用一个简单的例子来实现lambda架构。我无法将我的技术栈安装到每一层lambda体系结构中。

我想实时找出推特推特上十大热门话题标签。我列出了来自http://lambda-architecture.net/的每一层兔子的用途。

• 进入系统的所有数据都被发送到批处理层和速度层进行处理。
• 批处理层有两个功能：(i)管理主数据集(一个不可变的、仅附加的原始数据集)，以及(ii)预先计算批处理视图。
• 服务层对批处理视图进行索引，以便能够以低延迟、特殊的方式查询它们。
• 速度层补偿服务层更新的高延迟，只处理最近的数据。
• 任何传入的查询都可以通过合并批处理视图和实时视图的结果来回答。

我能用每一层解决问题的哪一部分。我正在使用Apache & Hadoop技术栈。

Answer 1

我相信这个链接会对你有帮助。

http://blog.cloudera.com/blog/2012/09/analyzing-twitter-data-with-hadoop/

只有您应该考虑Spark，而不是在读取twitter数据并使用Flume将其移动到HDFS之后使用Hive。