如何在python bigtable中进行分页

Question

在读取TB级的数据时，我试图在bigtable中使用python进行分页，但没有得到任何想法。您可以帮助或可以在bigtable中附加python分页的示例代码。

Answer 1

你可以像这样做一个scan over your table，read_rows会为你提供一个迭代器：

def read_prefix(project_id, instance_id, table_id):
    client = bigtable.Client(project=project_id, admin=True)
    instance = client.instance(instance_id)
    table = instance.table(table_id)
    prefix = "phone#"
    end_key = prefix[:-1] + chr(ord(prefix[-1]) + 1)

    row_set = RowSet()
    row_set.add_row_range_from_keys(prefix.encode("utf-8"),
                                    end_key.encode("utf-8"))

    rows = table.read_rows(row_set=row_set)
    for row in rows:
        print_row(row)

read_rows返回一个处理重试的PartialRowsData对象，所以如果您的操作需要一定数量的项，您可以像这样在for循环中添加一个计数器，它应该具有与分页相同的效果：

count = 0
page_size = 10
for row in rows:
    print_row(row)
    count++
    if count % page_size == 0:
        # Do your action based on page size

还有更多的例子显示