首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >是否有可能编写从外部表读取并写入多个表的单个BQ查询?

问是否有可能编写从外部表读取并写入多个表的单个BQ查询?
EN

Stack Overflow用户
提问于 2022-06-25 07:11:05
回答 1查看 35关注 0票数 0

我需要您对以下查询的专家意见,您的帮助是非常感谢的。

查询:I有一个外部表(在GCS中),我需要每5分钟(300 GCS)读取这个表,并对该数据运行多个筛选器/转换/聚合,并将结果插入到8个不同的表中。

示例:

插入到ds.Native_Cube1 (col1,col2,sumagg)中选择col1、col2、sum(col25)作为和,其中CAST(SUBSTR(_FILE_NAME,43,12) as INT64) > 123456组

插入ds.Native_Cube2 (col1,col2,col3,meancol5)从ds.External_Table中选择col1、col2、col3、mean(col5)作为meancol5,其中CAST(SUBSTR(_FILE_NAME,43,12) as INT64) > 123456,col3=http组由meancol5选择

...8这样的查询。

使用这种方法,我最终会多次读取输入数据并支付费用。我只想读取输入数据一次,并适当地填充这些native_cubeN表。

所以问题是,是否有可能避免这些额外的读取和成本?如果是,请建议如何实现.

谢谢你听我说。

EN

回答 1

Stack Overflow用户

发布于 2022-06-27 19:03:12

查询只能更新一个表,因此您可以尝试降低每个查询的读取成本。您的所有查询似乎都在CAST(SUBSTR(_FILE_NAME,43,12) AS INT64)上有一个过滤器。降低成本的一种可能方法是将外部表导入到具有值CAST(SUBSTR(_FILE_NAME,43,12) AS INT64)的列上的本地表中。然后,查询将从这个本机表中读取,并在分区列上设置过滤器。查询只读取匹配的分区,而不是整个表。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72751937

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档