从mysql到Hbase的几乎实时同步

Question

目前，在将数据从mysql同步到hbase期间，我面临一个问题，我需要一个从mysql到hbase的近乎实时的数据同步，而且在数据同步期间，我需要将多个mysql表合并成一个hbase表。

我试过sqoop，看上去不符合我们的要求。

因此，是否有任何现有的工具/lib可以用于我的情况，或任何其他解决方案，我可以尝试火花。

Answer 1

考虑在HBase上使用Apache凤凰。它将为存储在HBase中的数据提供低延迟的SQL查询(因此它适合OLTP，并且易于使用)，因此您不必担心同步。它还具有NoSQL特性，例如在查询时动态添加列的能力。

为了满足您的用例，您可以为OLTP运行菲尼克斯，并在读取副本上运行凤凰的第二个实例，以便为OLAP运行表联接。

replicas.html

Secondary replicas are refreshed at intervals controlled by a timer (hbase.regionserver.storefile.refresh.period), and so are guaranteed to be at most that interval of milliseconds behind the primary RegionServer.

该解决方案满足了您对OLTP、OLAP和接近实时同步的需求，同时提供了您不容易使用MySQL的事务数据库可伸缩性。Apache菲尼克斯还提供了与Hadoop生态系统的完全集成，因此它将很好地与您当前的分析堆栈集成。