1个Hadoop和Hbase大簇与1个Hadoop簇+1个Hbase簇

Question

Hadoop将通过从Hbase读取数据并将数据写入Hbase来运行许多作业。假设我有100个节点，那么有两种方法可以构建Hadoop/Hbase集群：

1. 100节点hadoop & hbase集群 (1大Hadoop&Hbase)
2. 分离数据库()，然后我们有两个集群：60节点Hadoop集群和40节点Hbase集群 (1 Hadoop +1 Hbase)

哪种选择更好？为什么？

谢谢。

Answer 1

分离HBase和Hadoop的主要原因是，当它们有不同的使用场景时--即HBAse在低延迟时执行随机读写，而Hadoop则执行顺序批处理。在这种情况下，不同的访问模式会相互干扰，最好是将集群分开。

如果您只是在批处理模式下使用HBase，您可以使用相同的集群(并且可能重新考虑使用HBase，因为它比批处理中的原始hadoop慢)。

请注意，您需要按照钱德拉康德提到的路线对HBase进行调优，而不管您走的是哪条路。