首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用HBase和Hadoop来服务实时流量和执行分析?(单个集群与独立集群?)

问如何使用HBase和Hadoop来服务实时流量和执行分析?(单个集群与独立集群?)
EN

Stack Overflow用户
提问于 2011-07-12 03:36:36
回答 2查看 1.9K关注 0票数 4

我们的主要目的是使用Hadoop进行分析。在这个用例中,我们进行批处理,所以吞吐量比延迟更重要,这意味着HBase不一定是一个很好的选择(尽管越来越接近实时分析听起来很有吸引力)。我们正在玩Hive,到目前为止我们都很喜欢它。

虽然分析是我们在不久的将来想要使用Hadoop做的主要事情,但我们也在寻求将我们的部分操作迁移到HBase并为其提供实时流量。存储在那里的数据与我们在分析中使用的数据相同,我想知道我们是否可以只有一个系统来处理实时流量和分析。

我读了很多报告,似乎大多数组织都选择使用单独的集群来服务流量和进行分析。出于稳定性的考虑,这似乎是一个合理的选择,因为我们计划让许多人编写Hive查询,而写得不好的查询可能会危及实时操作。

现在我的问题是:这两个不同的用例是如何协调的(服务实时流量和进行批量分析)?组织是否使用系统将所有数据写入两个原本独立的群集中?或者,是否可以使用单个集群来实现这一点?在单个集群中,一些节点为实时流量提供服务,而其他节点仅执行分析。

我在想的是,我们也许可以让所有数据进入用于服务实时流量的节点,并让HDFS复制机制管理将数据复制到用于分析的节点(在这种情况下,将复制增加到高于默认值3可能是有意义的)。Hadoop可以感知特殊的网络拓扑,并且它具有始终将至少一个副本复制到不同机架的功能,因此这似乎与我所描述的非常吻合。

可以将专用于实时流量的节点设置为零(或几个)映射和缩减时隙,以便所有配置单元查询最终由专用于分析的节点处理。

致力于分析的节点总是稍微落后于那些致力于服务实时流量的节点,但这似乎不是问题。

这种解决方案有意义吗?我在想,拥有一个集群可能比拥有两个集群更简单,但这会显著增加风险吗?是否有公司使用HBase集群为实时流量提供服务,同时在其上运行批量分析作业的已知案例?

我很想听听你对此的看法:)!

谢谢。

编辑:那Brisk呢?它基于Cassandra而不是HBase,但它似乎完全符合我所描述的(混合集群)。以前有没有人用过它?它成熟了吗?

-- Felix

EN

回答 2

Stack Overflow用户

发布于 2011-07-12 08:57:29

你的方法有一些问题...即使在机架感知模式下,如果您有多个机架,我也看不出如何保证您的节点将在这些节点上复制。如果您丢失了一个“活动”节点,那么您将在一段时间内处于复制不足状态,并且将无法访问该数据。

HBase在资源方面是贪婪的,我发现它在高负载情况下不能很好地与其他系统(在内存和CPU方面)配合使用。您还提到,繁重的分析会影响实时性能,这也是真的。

在我的集群中,我们经常使用Hadoop对数据进行预处理,以将数据摄取到HBase中。我们会做一些事情,比如丰富,过滤掉我们不想要的记录,转换,汇总等等。如果你想做这样的事情,我建议先把你的数据发送到你的Hadoop集群上的HDFS,然后再把它卸载到你的HBase集群。

没有什么能阻止您将HBase集群和Hadoop集群放在同一个网络底板上。我建议不要使用混合节点,只需将一些节点专用于Hadoop集群,而将一些节点专用于Hbase集群。两者之间的网络传输将非常迅速。

这只是我个人的经验,所以我不确定其中有多少是相关的。我希望你会发现它是有用的,祝你好运!

票数 2
EN

Stack Overflow用户

发布于 2011-07-19 21:04:10

我认为这种解决方案可能是有意义的,因为MR主要是CPU密集型的,而HBASE是一个需要大量内存的野兽。我们需要的是合理安排资源管理。我认为这是可以通过以下方式实现的:

a) CPU。我们可以定义每个插槽的MR映射器/减少器的最大数量,并假设每个映射器都是单线程的,我们可以限制MR的CPU消耗,其余的将分配给HBASE。

b) Memory.We可以限制映射器和减法器的内存,其余的交给HBASE。

c)我认为我们不能很好地管理HDFS带宽共享,但我不认为这应该是HBASE -since的问题,因为它的磁盘操作不在关键路径上。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/6655472

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档