首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >蜂巢中的窗口功能

问蜂巢中的窗口功能
EN

Stack Overflow用户
提问于 2019-04-29 18:34:38
回答 1查看 6K关注 0票数 5

我正在探索Hive中的窗口功能,并且能够理解所有UDF的功能。尽管如此,我还是无法理解我们与其他函数一起使用的分区和顺序。下面是与我计划构建的查询非常相似的结构。

代码语言:javascript
复制
SELECT a, RANK() OVER(partition by b order by c) as d from xyz; 

只是想了解这两个关键词所涉及的背景过程。

感谢你的帮助:)

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-04-29 19:52:33

RANK()解析函数为数据集中的每个分区中的每一行分配一个等级。

PARTITION BY子句确定如何分配行(如果是单元,则在还原器之间)。

ORDER BY确定分区中行的排序方式。

第一阶段由发布,数据集中的所有行都分布到分区中。在map中-根据partition by减少每个映射程序的行,并为每个分区生成文件。Mapper根据order by对分区部件进行初始排序。

第二阶段,所有行都在每个分区内排序。在map-约简中,每个还原器获取映射器生成的分区文件(分区的一部分),并根据order by对整个分区中的行进行排序(部分结果)。

第三次,秩函数为分区中的每一行分配秩。正在为每个分区初始化秩函数。

对于分区中的第一行,从1开始。对于下一行,Rank=previous row rank+1。如果两行共享相同的秩,则下一行秩不是连续的,具有相同值的行(在顺序by中指定)。

不同的分区可以在不同的减速器上并行处理。小分区可以在同一减速机上处理。秩函数在跨越分区边界时重新初始化,并从每个分区的rank=1开始。

示例(行已在分区内进行分区和排序):

代码语言:javascript
复制
SELECT a, RANK() OVER(partition by b order by c) as d from xyz; 

a, b, c, d(rank)
----------------
1  1  1  1 --starts with 1
2  1  1  1 --the same c value, the same rank=1
3  1  2  3 --rank 2 is skipped because second row shares the same rank as first 

4  2  3  1 --New partition starts with 1
5  2  4  2
6  2  5  3

如果需要连续的级别,请使用dense_rank函数。dense_rank将为上述数据集中的第三行生成rank=2。

row_number函数将为分区中的每一行分配一个位置号,从1开始。值相等的行将接收不同的连续数字。

代码语言:javascript
复制
SELECT a, ROW_NUMBER() OVER(partition by b order by c) as d from xyz; 

a, b, c, d(row_number)
----------------
1  1  1  1 --starts with 1
2  1  1  2 --the same c value, row number=2
3  1  2  3 --row position=3

4  2  3  1 --New partition starts with 1
5  2  4  2
6  2  5  3

重要注意事项:对于值相同的行,row_number或其他此类解析函数的可能具有不确定的行为,并从运行到运行产生不同的数字。上述数据集中的第一行可能接收到第2行,第二行可能收到第1行,反之亦然,因为除非您将向子句中再添加一列,否则无法确定它们的顺序。在这种情况下,所有行从run到run始终具有相同的row_number,它们的顺序值是不同的。

票数 11
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55909029

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档