我已经使用BigQuery大约2个月了。在此期间,我使用流插入来每分钟添加数千个条目。我能够在几分钟内查询这些数据,如果不是即时的话。
然而,从几天前开始,我的一张表突然开始显示数据可用性的延迟时间从20分钟到60分钟不等。这种情况只发生在我的一张桌子上。插入到其他表中的数据几乎立即可用。
对于BigQuery?来说这种数据可用性延迟是正常的吗?
遇到此问题的表是accuAudience.trackPlays。我将乐意提供项目ID和其他信息给谷歌团队成员。
流插入到问题表中的结果是:
{“种类”:“bigquery#tableDataInsertAllResponse”}
来自有问题表的示例查询,accuAudience.trackPlays (按日期顺序排列):
行日期计数 2015-03-30 12:35:32世界协调时67 2015-03-30 12:35:31世界协调时65 2015-03-30 12:35:30世界协调时56 2015-03-30 12:35:29世界协调时45 2015-03-30 12:35:28世界协调时60
几秒钟后,对不同的表(accuAudience.trackSkips)进行相同的查询。注意,日期字段比前面的查询早30分钟。
行日期计数 2015-03-30 13:04:03世界协调世界时1 2015-03-30 13:04:02世界协调世界时1 2015-03-30 13:04:01世界协调世界时3 2015-03-30 13:04:00协调世界时3 2015-03-30 13:03:59世界协调世界时6
如果需要其他信息,请告诉我!
发布于 2015-03-30 20:40:09
BigQuery定期运行后台维护任务,以优化查询表。这些后台任务之一导致流处理出现问题。这导致我们无法从流缓冲区读取,直到它被刷新。请注意,您可能认为这是一个持续的问题,而您正在不断地流到表中。
现在修好了。如果您继续看到这个问题,请告诉我们您看到的问题所在的表格和项目。
https://stackoverflow.com/questions/29347214
复制相似问题