使用Sqoop2的增量导入

Question

我想导入数据从MySQL表到硬盘文件系统。我已经完成了所有配置，并且能够在sqoop-shell中创建复制数据的简单作业。然而，我想每次只复制新的记录，但我不确定如何实现这一点。当我创建job时，有一个名为"check column“的参数，并且我有像ID或eventTimestamp这样的列似乎适合那里。然而，在这种情况下，我也应该输入“最后一个值”。我是否必须自己管理这最后一个值，并且每次使用新的“最后一个值”创建新的作业？在这种情况下，如果作业只使用一次，然后必须重新创建，为什么要创建作业？难道Sqoop不能通过存储每次新的“上一个值”并只导入新记录来管理这一点吗？此外，为什么当我输入“最后一个值”时会出现这样的错误信息：“输入的大小超过了这个输入域的允许大小。最大允许的大小是-1"？

Answer 1

关于“最后一个值”的问题，我添加了一个错误：https://issues.apache.org/jira/browse/SQOOP-2640它现在已经修复了状态，所以在1.99.7版本中它应该是好的。