我正在探索Hive中的窗口功能,并且能够理解所有UDF的功能。尽管如此,我还是无法理解我们与其他函数一起使用的分区和顺序。下面是与我计划构建的查询非常相似的结构。
SELECT a, RANK() OVER(partition by b order by c) as d from xyz; 只是想了解这两个关键词所涉及的背景过程。
感谢你的帮助:)
发布于 2019-04-29 19:52:33
RANK()解析函数为数据集中的每个分区中的每一行分配一个等级。
PARTITION BY子句确定如何分配行(如果是单元,则在还原器之间)。
ORDER BY确定分区中行的排序方式。
第一阶段由发布,数据集中的所有行都分布到分区中。在map中-根据partition by减少每个映射程序的行,并为每个分区生成文件。Mapper根据order by对分区部件进行初始排序。
第二阶段,所有行都在每个分区内排序。在map-约简中,每个还原器获取映射器生成的分区文件(分区的一部分),并根据order by对整个分区中的行进行排序(部分结果)。
第三次,秩函数为分区中的每一行分配秩。正在为每个分区初始化秩函数。
对于分区中的第一行,从1开始。对于下一行,Rank=previous row rank+1。如果两行共享相同的秩,则下一行秩不是连续的,具有相同值的行(在顺序by中指定)。
不同的分区可以在不同的减速器上并行处理。小分区可以在同一减速机上处理。秩函数在跨越分区边界时重新初始化,并从每个分区的rank=1开始。
示例(行已在分区内进行分区和排序):
SELECT a, RANK() OVER(partition by b order by c) as d from xyz;
a, b, c, d(rank)
----------------
1 1 1 1 --starts with 1
2 1 1 1 --the same c value, the same rank=1
3 1 2 3 --rank 2 is skipped because second row shares the same rank as first
4 2 3 1 --New partition starts with 1
5 2 4 2
6 2 5 3如果需要连续的级别,请使用dense_rank函数。dense_rank将为上述数据集中的第三行生成rank=2。
row_number函数将为分区中的每一行分配一个位置号,从1开始。值相等的行将接收不同的连续数字。
SELECT a, ROW_NUMBER() OVER(partition by b order by c) as d from xyz;
a, b, c, d(row_number)
----------------
1 1 1 1 --starts with 1
2 1 1 2 --the same c value, row number=2
3 1 2 3 --row position=3
4 2 3 1 --New partition starts with 1
5 2 4 2
6 2 5 3重要注意事项:对于值相同的行,row_number或其他此类解析函数的可能具有不确定的行为,并从运行到运行产生不同的数字。上述数据集中的第一行可能接收到第2行,第二行可能收到第1行,反之亦然,因为除非您将向子句中再添加一列,否则无法确定它们的顺序。在这种情况下,所有行从run到run始终具有相同的row_number,它们的顺序值是不同的。
https://stackoverflow.com/questions/55909029
复制相似问题