按键从HBase表中取值

Question

有一个包含数百亿条记录的HBase表，其中一个键是一行40个字节。还有一个包含数十万个密钥的列表。我需要用这个键获取所有记录，并返回某些表字段的值。因此，我的目的是将一组键转换为一组值。执行任务的最方便和/或最有效的方式是什么(使用任何编程语言和技术)？

Answer 1

您可以使用HBase Java API。在类java伪代码中

conf = HBaseConfiguration.create()
conf.set("hbase.zookeeper.quorum", "ZOOKEEPER_USED_BY_HBASE")
connection = ConnectionFactory.createConnection(conf)
table = connection.getTable("tablename")
gets = new ArrayList<Get>()
for all keys {
    gets.add(new Get(key.toBytes()))
}
table.get(gets) 

还有一些建议：

• 看看Get javadoc，如果键共享一些公共前缀，您可以将其配置为只返回
• 中您感兴趣的列，使用Scan with start/stop row也可以。调用scan.setCaching(5000)使其在使用时稍微快一点。

Answer 2

我在MongoDB上测试了MapReduce，看看它从集合中获取键/值对的效率如何。它只是一个100k记录的集合，但一个小的JavaScript函数能够检索所有国家和它们在集合中出现的次数。

Map1 = function()
{
    Emit(this.country, 1)
}

    Reduce1 = function(key, vals) {
for(var i=0, sum=0; i < vals.length; i++)
{
    sum += vals[i];
}
return sum;
}

话又说回来，我不知道数十亿条记录的M/R会有多大的效果。