更改单元表的分区规范并移动数据

Question

我有一个外部蜂窝表雇员，它由extract_timestamp (yyyy:mm:ss)分隔，如下所示。

empid   empname     extract_time
1       abc         2019-05-17 00:00:00
2       def         2019-05-18 14:21:00

我试图通过extract_time删除分区，并将其更改为年、月和日分区。对此，我遵循以下方法。

1.创建一个新的表employee_new，其分区为年份、月和日

 create external table employee_new
(empid int,
 empname string
)
partitioned by (year int,month int,day int)
location '/user/emp/data/employee_new.txt';

2.通过从employee表中选择数据将覆盖插入到employee_new中

insert overwrite into employee_new as select*,year(extract_time),month(extract_time)
,day(extract_time) 
from employee

/user/emp/data/employee_new.txt 3.删除employee和employee_new并在上创建employee表

请让我知道这种方法是否有效，是否有更好的方法来做同样的事情。

Answer 1

如果可能的话，如果上游进程可以将小时文件写入每日文件夹，则仅由date yyyy-MM-dd分区。对于这样一个小的表分区来说，按年份、月和日分别进行分区似乎太过分了。它仍然是太多的文件夹。如果表按日期yyyy进行分区，分区修剪将适用于您的使用场景，因为您是按日、年或月进行查询。

若要按年份进行筛选，在本例中，您将提供

where date >= '2019-01-01' and date < '2020-01-01'条件

按月过滤：

where date >= '2019-01-01' and date < '2020-02-01'

日：where date = '2019-01-01'

文件系统清单的工作速度要快得多。

如果不可能重新设计上游流程来写入yyyy文件夹，那么您在问题(yyyy/MM/dd文件夹)中描述的新设计是唯一的解决方案。