给出一个包含1000列的Hive表:
col1, col2, ..., col1000源表包含数十亿行,大小约为1PB。
我只需要查询3列,
select col1, col2, sum(col3) as col3
from myTable
group by
col1, col2是否建议先执行子查询,然后将其发送到group by的聚合,这样我们就可以将更小的文件发送到groupby?不确定Hive是否会自动处理此问题。
select col1, col2, sum(col3) as col3
from
(select col1, col2, col3
from myTable
) a
group by
col1, col2发布于 2016-03-28 07:14:17
在幕后,是否执行子查询并不重要,但您可以查看每个查询的解释计划,以查看是否注意到它们之间的任何差异。
最理想的情况是您的表以列格式存储,因此,如果将来将使用许多这样的查询,那么我将确保您的表存储为拼图文件,该文件使用列存储,并将为您提供出色的查询性能。
如果不是这种格式,那么可以使用create as select语句创建一个新表。
create table yourNewParquetTable stored as parquet as select * from yourOldTable;发布于 2016-03-28 10:06:19
通常,在这种情况下没有理由使用子查询。基本上有两种情况:
首先,Hive可以一起存储/获取所有列。在这种情况下,配置单元需要读取子查询或聚合的所有列中的所有数据。
否则,Hive只能存储/获取您需要的列。在这种情况下,Hive将对任一版本执行此操作。
也就是说,在某些数据库中避免子查询是有原因的。MySQL具体化了子查询--这意味着它们就像临时表一样被存储。这是不必要的开销,也是使用MySQL避免不必要的子查询的好理由。蜂巢不会这么做。它在数据流中编译查询并执行数据流。
https://stackoverflow.com/questions/36253380
复制相似问题