如何提高hbase的扫描性能？

Question

我正在使用hbase96进行分析。通过定义startRow和endRow，在行键范围内应用单列值筛选器，从hbase获取数据。

扫描1500000条记录需要5-6分钟，因为单个request.It没有处理并发请求。

如何提高hbase扫描性能？

我们在amazone上有3个数据节点和2个主节点。

下面是我的代码

Scan s = new Scan();
s.setCaching(10000);

s.setStartRow(Bytes.toBytes(start_date));
s.setStopRow(Bytes.toBytes(end_date));

FilterList filters = new FilterList(FilterList.Operator.MUST_PASS_ALL);

SingleColumnValueFilter filter = new SingleColumnValueFilter(
Bytes.toBytes("log"), Bytes.toBytes("ad_id"),
CompareOp.EQUAL, Bytes.toBytes(ad_id));
filters.addFilter(filter);

SingleColumnValueFilter filter = new SingleColumnValueFilter(
Bytes.toBytes("log"), Bytes.toBytes("advertiser_id"),
CompareOp.EQUAL, Bytes.toBytes(adver_id));
filters.addFilter(filter);

s.setFilter(filters);

ResultScanner rs = click_table.getScanner(s);

上述代码如何在代码处理程序中使用？

Answer 1

如果您想要根据列值进行扫描，那么下面是最好的方法

1. https://wiki.apache.org/solr/ (CDH搜索)
2. 基于协处理器的方法https://communities.intel.com/community/itpeernetwork/datastack/blog/2013/10/30/coprocessor-based-secondary-index-on-hbase

Answer 2

在执行查询时尝试设置scan.setCaching(100000)。它指定每个RPC将传输到区域服务器的行数。

编辑：，试着根据网络带宽设置batch and buffer sizes。每个应用程序都有不同的结构，需要不同的调优参数。尝试为您的数据调整这些值。

如果性能还是一样的话。尝试使用数据的并行抓取。这可能会有帮助。

HTH