Hadoop2.2.0中的数据备份与恢复

Question

我是Hadoop的新手，对Hadoop管理非常感兴趣，所以我尝试在Ubuntu12.04中安装Hadoop2.2.0作为伪分布式模式，并成功地安装并运行一些示例jar文件，现在我正在进一步学习，尝试学习数据备份和恢复部分，现在谁能告诉我们如何在Hadoop 2.2.0中恢复数据并恢复它，还请提供有关hadoop管理的好书籍和学习Hadoop管理的步骤。

提前谢谢。

Answer 1

Hadoop中没有经典的备份和恢复功能。造成这种情况的原因有几个：

• HDFS通过冗余使用块级复制来保护数据。

• HDFS的规模大得多，备份磁盘比磁带更经济。

• “大数据”的规模并不适合被轻易备份。

Hadoop不使用备份，而是使用数据复制。在内部，它为每个数据块创建多个副本(默认情况下为3个副本)。它还有一个叫做'distcp‘的函数，它允许您在集群之间复制数据副本。这通常是大多数Hadoop操作符为“备份”所做的。

一些公司，如Cloudera，正在将distcp工具整合到为Hadoop发行版创建“备份”或“复制”服务中。它针对HDFS中的特定目录进行操作，并将其复制到另一个集群。

如果您真的想为Hadoop创建备份服务，您可以自己手动创建一个备份服务。您需要一些访问数据的机制(NFS网关、webFS等)，然后可以使用磁带库、VTL等来创建备份。