我有一个报告框架来构建和生成报告(表格格式的报告)。到目前为止,我用来编写SQL查询,它用来从Oracle获取数据。现在,我遇到了一个有趣的挑战,其中一半的数据将来自甲骨文,其余的数据将基于甲骨文数据的输出来自MongoDB。从Oracle获取的表格格式数据将有一个额外的列,该列将包含从MongoDB获取数据的键。这样,我将拥有两个表格格式的数据集,一个来自Oracle data,另一个来自MongoDB。基于一个公共列,我需要合并两个表数据并生成一个数据集来生成报告。
我可以用java代码编写逻辑来合并两个表(比如二维数组格式的数据)。但我不是从我自己的角度来做这件事,而是考虑利用一些RDBMS内存中数据的概念。例如,H2数据库,我可以在内存中动态创建两个表,并执行H2查询来合并两个表。或者,我相信,在Oracle中也可能有一些东西,如全局临时表等。有人可以建议更好的方法来连接oracle表数据与MongoDB集合。
发布于 2017-07-05 03:12:55
我认为你可以尝试使用Kafka和Spark Streaming来解决这个问题。假设您的数据是事务性的,您可以创建一个Kafka代理并创建一个主题。然后对要保存到Oracle和MongoDB的现有服务进行更改。创建2个Kafka生产者(一个用于Oracle,另一个用于Mongo),将数据作为流写入Kafka主题。然后创建一个消费组,接收来自Kafka的流。然后,您可以对存储在MongoDB中的这些结果进行数据可视化/报告。
发布于 2017-07-05 03:15:31
另一个建议是使用apache drill。https://drill.apache.org
您可以使用mongo和JDBC钻头,然后您可以将oracle表和mongo集合连接在一起。
https://stackoverflow.com/questions/44906213
复制相似问题