IMPALA:基于未分区表创建新分区表

Question

我想要基于另一个未分区表创建一个新的分区表。新表应由旧表的一列进行分区。然后，我想在新表中加载所有旧数据。

CREATE TABLE new_table PARTITIONED BY (id) STORED AS PARQUET AS SELECT * FROM old_table

与声明的这里*一样，id应该是最后一列，但它是old_table中的第一列。old_table包含很多列，所以我不想列出所有的列。我能做什么?

    *-- We expect this CTAS to fail because non-key column S
-- comes after key columns YEAR and MONTH in the select list.
create table partitions_maybe partitioned by (year, month)
  as select year, month, s from partitions_no;
ERROR: AnalysisException: Partition column name mismatch: year != month

Answer 1

如果您不介意在记录级别复制列信息，则可以这样做

CREATE TABLE new_table PARTITIONED BY (id_partition) STORED AS PARQUET AS SELECT *, id as id_partition FROM old_table

在黑斑羚，你将无法以不同的方式做这件事。在Hive中，您有一些选项可以选择所有列，但其他选项则使用正则表达式。