HBase BulkLoad数据恢复

Question

由于Bulkload方法完全绕过了写路径，WAL不会作为该过程的一部分写入，那么在区域服务器发生故障/崩溃的情况下，如何恢复批量加载的数据？

Answer 1

HBase将数据存储在HFiles中，它是不可变的，放在HDFS中，HDFS已经是可靠的存储。通常，此类文件的最小大小约为128mb。在创建HFile HBase之前，需要在内存中累积一定数量的数据，为了在此过程中实现持久性，HBase使用WAL。在这种情况下，在大容量加载中，您不需要WAL，因为大容量加载操作直接创建HFiles，并在告诉HBase使用它们作为数据存储的一部分。