如何使HDFS上的平面文件与大型数据库表保持同步？

Question

让HDFS上的平面文件与可能有行更新的大型数据库表保持同步的最佳方法是什么？

像sqoop这样的工具似乎很有用，因为它们允许从表中增量地提取新行，但是我看不到处理行更新的简单方法。

我们可以使用什么技术来有效地处理行更新？夜间转储整个表是我们宁愿避免的事情。

Answer 1

这里有几个建议：

• 使用DBInputFormat将数据库作为作业的输入，而不是让您担心需要同步的中间文件。如果MySQL成为瓶颈，你可以使用一些分布式/NoSQL数据库。
• 如果你仍然想使用平面文件，每天晚上你只能转储MySQL中更改过的行，以及一个时间戳。编写一个Hadoop作业，仅输出每个唯一行的最新版本。

Answer 2

我更喜欢在mysql表中有一个updated_at字段，而不是每天晚上只获取更改后的数据。之后，我做了一个简单的map reduce来对旧状态应用更改(与之合并)。