sqoop中的增量更新

Question

嗨，我通过sqoop连接器将数据从mysql加载到hdfs。现在，如果现有数据之间的行被更新，是否有任何查询来更新sqoop中现有行的数据值。我知道增量更新吗?在增量更新中是否也会更新现有行？我是sqoop新手吗？

Answer 1

可以，但您应该在执行增量导入时使用lastmodified模式。根据documentation的说法

是Sqoop支持的另一种表更新策略，称为lastmodified模式。当源表的行可能被更新，并且每次这样的更新都会将最后修改的列的值设置为当前时间戳时，您应该使用它。如果check列包含的时间戳比使用--last-value指定的时间戳新，则会导入这些行。

在增量导入结束时，应为后续导入指定为--last-value的值将打印到屏幕上。在运行后续导入时，您应该以这种方式指定--last-value，以确保只导入新的或更新的数据。这是通过将增量导入创建为保存的作业来自动处理的，这是执行重复增量导入的首选机制。有关详细信息，请参阅本文档后面有关保存的作业的部分。

请记住，此模式需要一个包含日期值的列(如date、time、datetime和timestamp)。

This answer显示了使用merge-key的现有值的另一种导入策略。