由于bz2是可拆分的,并且可以节省空间,因此我计划以bzip2格式存储表数据。然而,它似乎不能识别压缩格式。它对gzip格式很好。我使用的代码如下所示:
CREATE TABLE IF NOT EXISTS image_bzip (
image_id STRING,
image_feature STRING,
other_stuff STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/hivestore/bzip';
LOAD DATA LOCAL INPATH '/nfs/directory/*.bz2' OVERWRITE INTO TABLE image_bzip;有人能告诉我我遗漏了什么吗?
谢谢。
发布于 2011-10-28 01:40:05
如果我们正确地设置了压缩编解码器,它就会正常工作。
发布于 2011-11-18 19:14:18
为什么你不尝试用bz2压缩文件在HDFS上创建外部表?
https://stackoverflow.com/questions/7879408
复制相似问题