文章/答案/技术大牛

发布

社区首页 >问答首页 >Twitter Storm v/s Apache Hadoop

问Twitter Storm v/s Apache Hadoop
EN

Stack Overflow用户

提问于 2013-08-07 09:10:15

回答 2查看 6K关注 0票数 5

如果有人能解释一下Twitter和Apache之间的体系结构差异，那就太好了？我正在寻找一些内部材料以外的实时v/s批处理。由于这两种技术在编写Storm或map拓扑方面非常相似，在Hadoop上编写拓扑，Hadoop在任务跟踪器/作业跟踪器方面，在Hadoop分区和等效洗牌(随机、字段等)方面，这两种技术都是类似的。在Storm等方面(如果我说Storm在内部使用消息队列在喷口/螺栓之间传输数据，这不完全是Hadoop的情况，因为在Hadoop中创建了中间文件，因此涉及到I/O，对此我说对了吗？)

编辑：

我已经讨论了问题Apache Storm与Hadoop相比，但是被接受的答案使我想知道的不仅仅是用例，即实时v/s批处理。

hadoop

apache-storm

回答 2

Stack Overflow用户

发布于 2013-09-19 13:06:49

其主要区别在于，Storm可以对Tupple (传入数据)的流进行实时处理，而Hadoop可以对MapReduce作业进行批处理。

它们都以分布式的方式处理数据，但是有了风暴，您就可以进行实时的分析，而在处理结果之前，您必须等待mapreduce工作完成。

票数 7

Stack Overflow用户

发布于 2013-08-07 14:34:33

Nathan (Storm创建者)正在写一本关于大数据的书，他在书中讨论了如何使用Hadoop、Storm和其他技术创建大数据系统。

这本书正在讨论“兰伯达建筑”。请看内森·马兹本人的幻灯片：大数据的复杂程度..。以及阻止它的计划

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/18099234

复制

相似问题

问Twitter Storm v/s Apache Hadoop
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Twitter Storm v/s Apache HadoopEN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Twitter Storm v/s Apache Hadoop
EN