配置Sqoop2 TEXT_FILE输出格式

Question

我使用Sqoop2 (Sqoop 1.99.3-cdh5.1.0)从postgresql数据库导入数据。作业成功地完成并在HDFS中创建文本文件。输出文件是带有单引号的CSV，我想将输出配置为不带引号的选项卡分隔。

Sqoop2的输出格式可配置吗？

Answer 1

我也遇到了同样的问题，所以我最终得到了Sqoop1。Sqoop2很好，但也有一些缺点，如：

• 您不能在Oozie中计划Sqoop2作业，所以只能手动运行它。
• 您不能直接将数据加载到Hive或HBase中，只能进行文件处理。
• 不能配置输出分隔符和外壳。

因此，我建议您使用sqoop1，它非常容易：

sqoop import --connect xxxx --username xxxx --password xxxx --query select * from xxx --target-dir /tmp/xxx -m 1 --fields-terminated-by | --enclosed-by \0 

如果您使用的是Hue作业，最好不要将此命令写入Sqoop作业的command字段，而是将每个命令插入到单独的Params中(比如第一个param是import、第二个- connection、第三个连接字符串然后-username等等)。

希望能帮上忙，祝你好运

Answer 2

似乎Sqoop2还不允许配置输出格式，

Sqoop允许在这里使用命令行参数配置输出格式：objects (注释中粘贴的thx @purpletech )

对于Cloudera用户: Sqoop安装在Sqoop2旁边，可以找到安装CDH的位置。Hue为Sqoop2提供了一个web接口，必须从命令行调用Sqoop1。