hive创建唯一标识列(自增id)

目录

一、需求

二、方法

1.row_number()

2.UUID

3.row_sequence()

三、对比

一、需求

在某一张 hive 表中需要有一列去唯一标识某一行，有些类似于MySQL中的自增ID

二、方法

1.row_number()

select row_number() OVER(ORDER BY RAND()) from table;

2.UUID

SELECT regexp_replace(reflect("java.util.UUID", "randomUUID"), "-", "") AS uniqe_id
from table;

3.row_sequence()

使用UDF函数row_sequence()，必须在Hive环境要有hive-contrib相关jar包

create temporary function row_sequence as 'org.apache.hadoop.hive.contrib.udf.UDFRowSequence';

执行查询语句

select row_sequence() from table;

三、对比

row_number函数是对整个数据集做处理，自增序列在当次排序中是连续的唯一的，使用 row_number() 容易发生数据倾斜；

使用UUID的方式可以解决数据倾斜，如果在hive表中null的值过多，也可以使用UUID的方法给null赋值，解决数据倾斜的问题；

UDF函数row_sequence()是按照任务排序，但是一个SQL可能并发执行的job不止一个，而每个job都会从1开始各自排序，不能保证序号全局唯一。