我需要您对以下查询的专家意见,您的帮助是非常感谢的。
查询:I有一个外部表(在GCS中),我需要每5分钟(300 GCS)读取这个表,并对该数据运行多个筛选器/转换/聚合,并将结果插入到8个不同的表中。
示例:
插入到ds.Native_Cube1 (col1,col2,sumagg)中选择col1、col2、sum(col25)作为和,其中CAST(SUBSTR(_FILE_NAME,43,12) as INT64) > 123456组
插入ds.Native_Cube2 (col1,col2,col3,meancol5)从ds.External_Table中选择col1、col2、col3、mean(col5)作为meancol5,其中CAST(SUBSTR(_FILE_NAME,43,12) as INT64) > 123456,col3=http组由meancol5选择
...8这样的查询。
使用这种方法,我最终会多次读取输入数据并支付费用。我只想读取输入数据一次,并适当地填充这些native_cubeN表。
所以问题是,是否有可能避免这些额外的读取和成本?如果是,请建议如何实现.
谢谢你听我说。
发布于 2022-06-27 19:03:12
查询只能更新一个表,因此您可以尝试降低每个查询的读取成本。您的所有查询似乎都在CAST(SUBSTR(_FILE_NAME,43,12) AS INT64)上有一个过滤器。降低成本的一种可能方法是将外部表导入到具有值CAST(SUBSTR(_FILE_NAME,43,12) AS INT64)的列上的本地表中。然后,查询将从这个本机表中读取,并在分区列上设置过滤器。查询只读取匹配的分区,而不是整个表。
https://stackoverflow.com/questions/72751937
复制相似问题