我正在重新设计一个服务,以便可以使用BigQuery搜索大型数据集。最初,我打算每天晚上建立一个流程,将数据从CloudSQL流到BigQuery,但在研究阶段我意识到了联邦查询。也许我遗漏了一些显而易见的东西,但我似乎找不到任何具体说明BigQuery联合查询是否与普通BigQuery查询一样具有性能的东西。它似乎专注于在多个系统和联邦查询中存储数据的问题,这使得将MySQL (或Postgres)数据与BigQuery数据连接起来变得更加容易。
联邦查询是否利用了BigQuery的所有或大部分优点(使用数千台机器执行扫描),还是说这是不可能的?谷歌说:“可能不能像查询BigQuery表中的数据那样好”,但是有没有人使用它,并发现它接近或类似?
发布于 2020-04-20 15:53:13
性能仅限于CloudSQL实例的容量。这是你的瓶颈。
当然,您已经阅读了这,但是从不同的部分收集信息,您可以看到实际发生的事情如下。
BigQuery将发送要在CloudSQL实例中执行的查询。查询结果将由BigQuery读取并存储在临时表中。
请记住,这意味着您要在CloudSQL实例中添加一些负载,还需要在BigQuery中读取字节(并支付费用)。
这显然不同于使用StitchData或Fivetran这样的商业工具在BigQuery和中复制您的CloudSQL数据,然后使用直接在BigQuery中查询数据。
https://stackoverflow.com/questions/61325393
复制相似问题