如何将表从SQL逐步更新为HDFS

Question

我有一个使用Sqoop从RDBMS导入到HDFS的表。在RDBMS上进行更新和插入之后，如何更新HDFS版本，只传输新的和更新的记录？此表中没有时间戳或日期列。我可以使用最后修改的增量追加吗？

Answer 1

在这里，上次修改也需要整数、时间戳、日期值，所以最后一次修改是不可能的。

我认为您可以在mysql中再使用一个列作为索引。然后，您可以导入和增量附加。

MySQL索引列公式：

CREATE INDEX index_name ON table_name (column_name);

如果您想要使用这个列名，.it将被接受，too.so行中的重复数据不要担心。