我已经创建了一个对列进行动态分区的hive表。有没有办法使用"LOAD DATA“语句直接从文件中加载数据?或者,我们是否必须仅依赖于创建一个未分区的中间表,并将文件数据加载到该中间表中,然后将该中间表中的数据插入到分区表中,如Hive loading in partitioned table中所述
发布于 2016-06-30 12:03:06
不是,LOAD DATA命令仅将文件复制到目标目录。它不读取输入文件的记录,因此不能基于记录值进行分区。
如果您的输入数据已经根据分区被拆分成多个文件,您可以直接将这些文件复制到您手动创建的分区目录下HDFS中的表位置(如果是外部表,则直接指向其当前位置),然后使用以下ALTER命令添加分区。这样,您就可以完全跳过LOAD DATA语句。
ALTER TABLE <table-name>
ADD PARTITION (<...>)发布于 2017-04-24 02:44:22
没有其他方法,如果我们需要直接插入,我们将需要手动指定分区。
对于动态分区,我们需要临时表,然后从那里插入。
https://stackoverflow.com/questions/38094740
复制相似问题