从Hadoop端查找关系数据库中的数据

Question

我正在将SSIS解决方案转换为Hadoop，以便在数据仓库中进行ETL处理。

我的预期系统：

ETL -登陆和分期(Hadoop) -放置--数据->数据仓库(MySQL)

问题是:在转换阶段，我需要从hadoop端(pig或mapreduce作业)在MySQL中查找数据。有两种解决办法：

1：克隆所有表都需要从MySQL查找到Hadoop。这意味着我们需要维护两个地方的数据。

2：查询直接到MySQL。我担心MySQL服务器上会有很多连接。

解决这个问题的解决方案/最佳实践是什么？还有其他解决办法吗。

Answer 1

您必须在Hadoop中对您的维度表进行一些表示。取决于您如何处理维度数据的ETL，您实际上可能会将它们作为ETL的一个副作用。

您是否计划在MySQL中存储最细粒度的事实数据？我的经验是，Hive + Hadoop在存储和分析事实数据方面优于现实数据库。如果您需要实时访问查询的结果，那么可以通过将汇总结果存储在MySQL中来“缓存”它们。