原生mapreduce与hbase mapreduce

Question

如果我使用TableMapReduceUtil( hbase )创建MR job，似乎hbase扫描仪将数据输入映射器，并将数据从还原器转换为特定的hbase输出格式，以便将其存储在hbase表中。由于这个原因，我预计hbase mapreduce作业将比本地MR job花费更多的时间。那么，Hbase的工作时间肯定要比本地的先生长多长时间？

Answer 1

在读取过程中，HBase可能比直接使用文件的本机映射/减少慢2-3倍。

在最近宣布的HBase 0.98中，他们增加了在HBase快照上执行映射/还原的功能。您可以看到这份报告的详细信息(幻灯片7用于API，幻灯片16用于速度比较)。

在写方面，您可以直接写入HFiles，然后批量加载到HBase --但是，由于HBase缓存数据并进行批量写入，您也可以对其进行调优，从而获得可比较或更好的结果。