首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >BigQuery联邦查询的性能如何?

BigQuery联邦查询的性能如何?
EN

Stack Overflow用户
提问于 2020-04-20 14:51:57
回答 1查看 476关注 0票数 0

我正在重新设计一个服务,以便可以使用BigQuery搜索大型数据集。最初,我打算每天晚上建立一个流程,将数据从CloudSQL流到BigQuery,但在研究阶段我意识到了联邦查询。也许我遗漏了一些显而易见的东西,但我似乎找不到任何具体说明BigQuery联合查询是否与普通BigQuery查询一样具有性能的东西。它似乎专注于在多个系统和联邦查询中存储数据的问题,这使得将MySQL (或Postgres)数据与BigQuery数据连接起来变得更加容易。

联邦查询是否利用了BigQuery的所有或大部分优点(使用数千台机器执行扫描),还是说这是不可能的?谷歌说:“可能不能像查询BigQuery表中的数据那样好”,但是有没有人使用它,并发现它接近或类似?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-04-20 15:53:13

性能仅限于CloudSQL实例的容量。这是你的瓶颈。

当然,您已经阅读了,但是从不同的部分收集信息,您可以看到实际发生的事情如下。

BigQuery将发送要在CloudSQL实例中执行的查询。查询结果将由BigQuery读取并存储在临时表中。

请记住,这意味着您要在CloudSQL实例中添加一些负载,还需要在BigQuery中读取字节(并支付费用)。

这显然不同于使用StitchData或Fivetran这样的商业工具在BigQuery和中复制您的CloudSQL数据,然后使用直接在BigQuery中查询数据。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61325393

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档