Apache Falcon数据备份

Question

我无法使用Apache Falcon将数据从一个Hadoop集群备份到另一个集群。

数据从一个集群备份到另一个集群的方法有哪些？

是否存在使用Apache Falcon将数据从一个集群备份到另一个集群所需的流程实体或oozie工作流？

Answer 1

Apache falcon提供了将数据备份到另一个hadoop集群和亚马逊s3的选项。微软azure正在计划中，但我不确定它目前的状态。

数据备份可以通过feed的复制功能来实现。更多详情请参考http://falcon.apache.org/FalconDocumentation.html#Replication。

您将需要提交集群xml和一个提要xml以进行复制(在您的情况下需要进行备份)。集群xmls将包含您想要将数据复制到的集群的详细信息。

Answer 2

Apache Falcon使用Feed replication提供从一个hadoop集群到另一个hadoop集群的直接复制。定义集群(每个集群对应于每个hadoop集群)，定义一个拥有这两个集群的提要，并将一个集群标记为“type=”，另一个标记为type=“target”(源集群到目标集群的复制)。提交并安排订阅源，您的复制就会开始。