如何返回我的大型Google BigQuery v2响应？

Question

我尝试运行一个简单的查询，但是我得到了错误response too large to return

选择accno，年份，月份，计数(*)为cnt 来自eric.accesslogs_tbl 按年龄、年份、月份分组 按cnt订购，年，月限1000；

我的数据表统计数据：

表号:64.7GB 行数:59 971 371

有什么解决办法吗？否则我们就不能用它了。

Answer 1

您要达到的限制不是可以返回的行数，而是GROUP BY操作在内部使用的数据量。

有一个实验性的特性可以让您消除这个限制:尝试使用GROUP EACH BY而不是GROUP BY。

或者，您可以在不使用TOP 函数的实验特性的情况下做到这一点。您的情况使TOP变得更加棘手，因为您希望获得三个不同字段的顶级结果，但是您可以将它们连接在一起：

SELECT TOP(acct_month, 1000), COUNT(*) AS cnt FROM (
    SELECT CONCAT(CONCAT(CONCAT(CONCAT(
        STRING(accno), '-'), STRING(year)), '-'), STRING(month)) 
        AS acct_month 
    FROM eric.accesslogs_tbl)

结果会有点不稳定，因为他们将有一个单一的领域，每年一个月。