sqoop中是否有从RDMS导入数据并将其存储为HDFS中的ORC文件格式的选项?
尝试的替代方案:以文本格式导入,并使用临时表将输入作为文本文件读取,然后作为配置单元中的orc写入hdfs
发布于 2015-12-01 22:02:03
至少在Sqoop 1.4.5中存在支持orc文件格式(以及其他格式)的hcatalog集成。
例如,您可以选择
--hcatalog-storage-stanza,可以将其设置为
stored as orc tblproperties ("orc.compress"="SNAPPY")示例:
sqoop import
--connect jdbc:postgresql://foobar:5432/my_db
--driver org.postgresql.Driver
--connection-manager org.apache.sqoop.manager.GenericJdbcManager
--username foo
--password-file hdfs:///user/foobar/foo.txt
--table fact
--hcatalog-home /usr/hdp/current/hive-webhcat
--hcatalog-database my_hcat_db
--hcatalog-table fact
--create-hcatalog-table
--hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")'发布于 2015-05-01 06:39:41
Sqoop导入仅支持以下格式。
--as-avrodatafile Imports data to Avro Data Files
--as-sequencefile Imports data to SequenceFiles
--as-textfile Imports data as plain text (default)
--as-parquetfile Imports data as parquet file (from sqoop 1.4.6 version)发布于 2015-05-01 16:14:59
在当前可用的sqoop版本中,无法在单个拍摄命令中以ORC格式将数据从RDBS导入HDFS。这是sqoop中的一些已知问题。提出此问题的参考链接:https://issues.apache.org/jira/browse/SQOOP-2192
我认为目前唯一可用的选择是和你提到的一样。我也遇到了类似的用例,并使用了替代的两步方法。
https://stackoverflow.com/questions/29978522
复制相似问题