首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将Sqoop导入为OrC文件

问将Sqoop导入为OrC文件
EN

Stack Overflow用户
提问于 2015-05-01 05:55:47
回答 4查看 15.6K关注 0票数 5

sqoop中是否有从RDMS导入数据并将其存储为HDFS中的ORC文件格式的选项?

尝试的替代方案:以文本格式导入,并使用临时表将输入作为文本文件读取,然后作为配置单元中的orc写入hdfs

EN

回答 4

Stack Overflow用户

发布于 2015-12-01 22:02:03

至少在Sqoop 1.4.5中存在支持orc文件格式(以及其他格式)的hcatalog集成。

例如,您可以选择

代码语言:javascript
复制
--hcatalog-storage-stanza

,可以将其设置为

代码语言:javascript
复制
stored as orc tblproperties ("orc.compress"="SNAPPY")

示例:

代码语言:javascript
复制
sqoop import 
 --connect jdbc:postgresql://foobar:5432/my_db 
 --driver org.postgresql.Driver 
 --connection-manager org.apache.sqoop.manager.GenericJdbcManager 
 --username foo 
 --password-file hdfs:///user/foobar/foo.txt 
 --table fact 
 --hcatalog-home /usr/hdp/current/hive-webhcat 
 --hcatalog-database my_hcat_db 
 --hcatalog-table fact 
 --create-hcatalog-table 
 --hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")'
票数 8
EN

Stack Overflow用户

发布于 2015-05-01 06:39:41

Sqoop导入仅支持以下格式。

代码语言:javascript
复制
--as-avrodatafile   Imports data to Avro Data Files

--as-sequencefile   Imports data to SequenceFiles

--as-textfile   Imports data as plain text (default)

--as-parquetfile    Imports data as parquet file (from sqoop 1.4.6 version)
票数 5
EN

Stack Overflow用户

发布于 2015-05-01 16:14:59

在当前可用的sqoop版本中,无法在单个拍摄命令中以ORC格式将数据从RDBS导入HDFS。这是sqoop中的一些已知问题。提出此问题的参考链接:https://issues.apache.org/jira/browse/SQOOP-2192

我认为目前唯一可用的选择是和你提到的一样。我也遇到了类似的用例,并使用了替代的两步方法。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/29978522

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档