首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >BigQuery流插入数据可用性延迟

BigQuery流插入数据可用性延迟
EN

Stack Overflow用户
提问于 2015-03-30 13:15:04
回答 1查看 4.4K关注 0票数 6

我已经使用BigQuery大约2个月了。在此期间,我使用流插入来每分钟添加数千个条目。我能够在几分钟内查询这些数据,如果不是即时的话。

然而,从几天前开始,我的一张表突然开始显示数据可用性的延迟时间从20分钟到60分钟不等。这种情况只发生在我的一张桌子上。插入到其他表中的数据几乎立即可用。

对于BigQuery?来说这种数据可用性延迟是正常的吗?

遇到此问题的表是accuAudience.trackPlays。我将乐意提供项目ID和其他信息给谷歌团队成员。

流插入到问题表中的结果是:

{“种类”:“bigquery#tableDataInsertAllResponse”}

来自有问题表的示例查询,accuAudience.trackPlays (按日期顺序排列):

行日期计数 2015-03-30 12:35:32世界协调时67 2015-03-30 12:35:31世界协调时65 2015-03-30 12:35:30世界协调时56 2015-03-30 12:35:29世界协调时45 2015-03-30 12:35:28世界协调时60

几秒钟后,对不同的表(accuAudience.trackSkips)进行相同的查询。注意,日期字段比前面的查询早30分钟。

行日期计数 2015-03-30 13:04:03世界协调世界时1 2015-03-30 13:04:02世界协调世界时1 2015-03-30 13:04:01世界协调世界时3 2015-03-30 13:04:00协调世界时3 2015-03-30 13:03:59世界协调世界时6

如果需要其他信息,请告诉我!

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-03-30 20:40:09

BigQuery定期运行后台维护任务,以优化查询表。这些后台任务之一导致流处理出现问题。这导致我们无法从流缓冲区读取,直到它被刷新。请注意,您可能认为这是一个持续的问题,而您正在不断地流到表中。

现在修好了。如果您继续看到这个问题,请告诉我们您看到的问题所在的表格和项目。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/29347214

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档