我有一个关于名称节点高可用性的问题。Name节点是如此重要,因为它存储了所有元数据,如果它被关闭,整个Hadoop集群也将被关闭。那么,是否有任何好的方法来接近名称节点高可用性,例如,当主名称节点失败时,有备份名称节点可以接管?(现在我使用Hadoop 1.1.2)
发布于 2013-08-13 13:58:58
对于ASFHadoop1.1.2,没有可靠的NameNode HA选项。它们是为2.0发布的,并包含在诸如Cloudera的CDH4这样的流行发行版中。
NameNode HA的选项包括运行主NameNode和热备用NameNode。它们在NFS挂载上或通过HDFS本身的仲裁日志模式共享编辑日志。前者为您提供了用于存储HDFS元数据的外部源的好处,而后者则为您提供了没有Hadoop外部依赖的好处。
就我个人而言,我喜欢NFS选项,因为您可以轻松地快照/备份驻留在文件服务器上的数据。这种方法的缺点是潜在的延迟性能不一致。
有关更多细节,请参阅以下文章:
https://stackoverflow.com/questions/18194675
复制相似问题