一种每天分析和计算Oracle海量数据的方法

Question

我需要计算核心引擎的主Oracle数据库中各种事务表的汇总数据。我计划写这作为一个多线程的Java程序，这将作为一个作业，每天午夜运行的调度；该程序将从各种事务日志表与其他表从数据库中提取数据，计算和存储回一个单独的表的结果。日志表通常包含数百万个数据，其中一些表按天分区，另一些表按月分区。

GUI (仪表板)平台将通过单独的The服务请求这些信息，该the服务已经存在，用于提供各种其他详细信息。项目中几乎所有的模块都使用Spring框架，所以我想使用具有调度功能的Spring-Batch。在开始设计之前，我开始了一些研究，我发现使用了各种其他技术，例如ETL工具、数据库本身中的调度、实时数据分析和其他类似的技术。

我是不是已经解决了我手中的问题了？我之前的方法是正确的吗？或者，有没有一种方法，Java上的框架，可以实时地完成这个过程，比如当数据被处理时(当核心引擎正在处理数据时)，这样就不需要编写单独的作业来执行此计算？

Answer 1

你可以看看Spring XD，它是一个处理大容量数据的引擎。

Spring XD提供了许多现成的读取器(jdbc、文件、jms)、处理器和写入器(jdbc、文件、jms)，您可以轻松编写自己的读取器、写入器和处理器。

Spring XD使用Unix风格的源、管道、宿来连接多个处理器。您可以在此post中查看Spring XD与海量twitter数据的应用程序的一个小示例。