大型分析数据库响应检索(MYSQL)

Question

我想为网络创建一个‘谷歌分析’类型的应用程序-即一个基于网络的工具，为我的数据库做一些报告和图表。问题是数据库太大了，所以我不能实时进行查询，因为它们会花费太长的时间，并且工具将没有响应。

我如何使用cron作业来帮助我？什么是能够使我的图形响应性的最佳方法？我想我需要对我的一些数据库表进行命名，但是如何使这些查询更快呢？我可以将哪些中间值存储在另一个数据库表中，以使其更快？

谢谢!

Answer 1

商业智能( Business Intelligence，BI)是一门相当成熟的学科--你可以在任何一本关于为报表和数据仓库扩展数据库的书中找到你问题的答案。

高级策略列表包括：

• 分区(因为索引对大多数threads)
• star-schema表(通常是通过cron的批处理过程生成)帮助不大)
• 您需要一个好的优化器(一些数据库，如mysql，没有-所以连接decisions)
• query并行性很差(一些数据库仅仅通过将您的查询拆分成多个threads)
• star-schema就可以提供线性加速-一个好的数据模型对于良好的性能至关重要

一般而言，动态报告优于静态报告-因此，如果你追求强大的报告功能，我只会尝试将数据复制到适当的模型中，使用聚合，可能会更改数据库以获得良好的优化器和适当的功能，而不是批量运行报告。

Answer 2

一种简单的方法是创建一组汇总表，以包含预先聚合的数据。可以使用crontab定期填充这些内容。

或者，像http://mondrian.pentaho.org这样的东西可能值得一看。

Answer 3

我会让自己熟悉“星型模式”。