处理海量报表数据

Question

我有一个报告系统，我需要组合来自3个不同服务器(系统)的数据，将其显示给用户。这在有几千条记录的情况下工作得很好，但随着它的增加，系统超时。

我在考虑使用另一种方法。当用户运行结果时，我将生成一个请求，以生成报告到数据库。正在运行的守护程序将拾取它，收集数据并生成报告，并通过电子邮件向用户发送报告数据的链接。我可以在这里做很多事情。

1)将采集到的数据以表格的形式插入到数据库中，可以简单地在页面上显示给用户。2)生成html并存储到数据库中。

虽然我认为第一个选项是最好的，但这里还有其他建议吗？

Answer 1

以下是几点想法：

每隔一段时间(例如每小时)运行一次报告，考虑使用hadoop使您的报告处理非常高效( scalable

• Consider )。当用户请求一份报告时，您可以立即向他们显示最近生成的report.

• Definitely，不要存储html。而是在用户发出请求时呈现它。顺便说一句，这也让您可以灵活地向不同的用户显示不同版本的报表