将sqoop增量导入到单元表

Question

我正在尝试对hive表执行sqoop增量导入(lastmodified)。它在sqoop 1.4.5中工作，但在sqoop 1.4.6中不工作。

它正在抛出以下错误

**日志上载时间:2011年11月13日17:57:58 +0530 2017

        Log Length: 246
      --incremental lastmodified option for hive imports is not supported. Please remove the parameter --incremental lastmodified.

拦截System.exit(1)失败的Oozie发射器、主类org.apache.oozie.action.hadoop.SqoopMain、退出代码1**

Answer 1

Sqoop1.4.6不支持直接向单元表进行增量导入。

但是，您可以在不使用--hive-import选项的情况下导入增量数据，并将增量数据放在HDFS位置，该位置使用--target-dir选项映射到hive表。

例如

假设有一个将位置设置为sqoop_pract的表/user/hive/warehouse/sqoop_pract

如果要对此表执行增量导入，可以使用类似于以下内容的查询

sqoop import --connect jdbc:mysql://hostname/sample_db --username demo --table sqoop_pract --target-dir /user/hive/warehouse/sqoop_pract --incremental lastmodified --check-column Ts --last-value '2017-11-08 03:51:42' --append -P

在上面的命令中，--target-dir指向hive表的位置，这样就可以使用sqoop实现对hive表的增量导入。

Answer 2

Sqoop ( 1.4.6或更低版本)导入可以使用--hive-import和--incremental lastmodified选项运行，但它会产生意想不到的结果。请参阅https://issues.apache.org/jira/browse/SQOOP-2986