首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从包含1000列的Hive表中执行groupby 2属性的推荐方法是什么?

问从包含1000列的Hive表中执行groupby 2属性的推荐方法是什么?
EN

Stack Overflow用户
提问于 2016-03-28 06:21:03
回答 2查看 35关注 0票数 0

给出一个包含1000列的Hive表:

代码语言:javascript
复制
col1, col2, ..., col1000

源表包含数十亿行,大小约为1PB。

我只需要查询3列,

代码语言:javascript
复制
select col1, col2, sum(col3) as col3
from myTable
group by
col1, col2

是否建议先执行子查询,然后将其发送到group by的聚合,这样我们就可以将更小的文件发送到groupby?不确定Hive是否会自动处理此问题。

代码语言:javascript
复制
select col1, col2, sum(col3) as col3
from
    (select col1, col2, col3
     from myTable
    ) a
group by
col1, col2
EN

回答 2

Stack Overflow用户

发布于 2016-03-28 07:14:17

在幕后,是否执行子查询并不重要,但您可以查看每个查询的解释计划,以查看是否注意到它们之间的任何差异。

最理想的情况是您的表以列格式存储,因此,如果将来将使用许多这样的查询,那么我将确保您的表存储为拼图文件,该文件使用列存储,并将为您提供出色的查询性能。

如果不是这种格式,那么可以使用create as select语句创建一个新表。

代码语言:javascript
复制
create table yourNewParquetTable stored as parquet as select * from yourOldTable;
票数 0
EN

Stack Overflow用户

发布于 2016-03-28 10:06:19

通常,在这种情况下没有理由使用子查询。基本上有两种情况:

首先,Hive可以一起存储/获取所有列。在这种情况下,配置单元需要读取子查询或聚合的所有列中的所有数据。

否则,Hive只能存储/获取您需要的列。在这种情况下,Hive将对任一版本执行此操作。

也就是说,在某些数据库中避免子查询是有原因的。MySQL具体化了子查询--这意味着它们就像临时表一样被存储。这是不必要的开销,也是使用MySQL避免不必要的子查询的好理由。蜂巢不会这么做。它在数据流中编译查询并执行数据流。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/36253380

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档