将数据从NoSQL迁移到关系型数据库管理系统

Question

我们有数据存在于HBase中，我们想要转移到AWS Aurora (MySQL)，我们需要使用现有的数据，所以必须以某种方式将NoSQL数据加载到Aurora中。

它不是一个非常大的数据库。只有几张桌子。

有没有将数据从NoSQL迁移到关系数据库的最佳实践/工具？我在互联网上看到了很多反向问题(DB -> NoSQL)，但我的要求有点不同，我找不到任何有用的信息。

有人能帮帮忙吗？我该从哪里开始呢？

Answer 1

要做到这一点而无需编写太多自定义代码，一种简单的方法是使用Hortonworks的Spark-HBase Connector将数据从HBase表读取到Spark dataframe，并将该数据帧写入MySQL表。关键的挑战将是让SHC工作，因为根据我的经验，它对版本非常敏感。所以诀窍是正确地协调你的Spark，HBase和SHC的版本(找到正确的组合比你想象的要棘手)。

但是，如果您设法使所有依赖项都正确，那么在Jupyter Notebook或Pyspark中执行上述操作只需几行代码即可。您可以在Yarn上运行此命令来并行化工作负载，以防工作负载很大。应该行得通。试试看。