如何在Java MapReduce中使用批量加载API来恢复数据？

Question

在生产中，我们通过向大容量加载API (pathToHfile，targetTableName)传递两个参数，使用批量加载API将数据加载到Hbase表中。

pathToHfile --> Hfiles在hadoop中的位置

targetTableName -->我们要加载的目标表

当我们使用大容量加载API时，WAL文件不会发生写操作。但是WAL文件用于恢复数据。那么，在这种情况下，我们如何恢复数据，因为数据没有被写入WAL文件？

Answer 1

WAL用于恢复未写入HFiles的更改(即从崩溃的MemStore)。在批量加载过程中，您将手动创建HFiles并将它们交给HBase。HBase中新文件的实际加载是原子的，因此这里不需要恢复机制。