如何在AWS ec虚拟机上使用hadoop 1.0配置高可用性

Question

我已经在非VM设置上使用心跳和虚拟IP机制配置了此设置。

我使用hadoop 1.0.3并使用共享目录来共享Namenode元数据。问题是，在亚马逊云上，没有什么比虚拟Ip更能使用Linux-ha获得高可用性。

有没有人能做到这一点。请让我知道所需的步骤？

Answer 1

现在，我在hbase上使用Hbase replication WAL。高于0.92的Hbase支持这一点。

对于云上的hadoop集群，我将等待2.0版本变得稳定。

使用了以下代码

http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/replication/package-summary.html#requirements

在客户端，我添加了两个主服务器的逻辑，用于在网络中断的情况下重新连接。

这件事适用于简单的2台机器互相备份，不推荐用于数量较多的服务器。

希望能有所帮助。

Answer 2

好吧，Hadoop有两个部分可以使其高度可用。当然，第一个也是更重要的是NameNode。有一个辅助/检查点NameNode，您可以启动和配置它。这将有助于在主NameNode宕机的情况下保持HDFS正常运行。接下来是JobTracker，它运行所有的作业。据我所知(过时了10个月)，JobTracker没有可以配置的备份，所以在它宕机的情况下，监控并使用正确的配置启动一个新的备份由您决定。