如果您正在执行min/max/avg查询,您更喜欢使用聚合表还是简单地跨原始表中的一系列行进行查询?
这显然是一个非常开放的问题,没有一个正确的答案,所以我只是在寻找人们的一般建议。假设原始数据表由一个时间戳、一个数字外键(比如用户id)和一个十进制值(比如购买金额)组成。此外,假设表中有数百万行。
我两个都做过了,很纠结。一方面,聚合表为我提供了更快的查询速度,但代价是增加了更多的表。要显示聚合范围的当前值,要么需要完全返回到原始数据表,要么需要组合更细粒度的聚合。我发现,在应用程序代码中跟踪何时查询哪个聚合表的工作比您想象的要多,而且还需要更改模式,因为原始的聚合范围总是不够的(“但我想看看我们在过去3个支付期的销售额!”)。
另一方面,从原始数据查询可能非常慢,但让我对数据范围非常灵活。当范围边界发生变化时,我只需更改查询,而不必重新构建聚合表。同样,应用程序代码需要更少的更新。我怀疑,如果我在索引方面更聪明(即始终拥有良好的覆盖索引),我将能够减少从原始数据中选择的惩罚,但这绝不是万能的。
有没有什么办法可以让我两全其美?
发布于 2009-12-24 07:36:21
我们遇到了同样的问题,遇到了你遇到的同样的问题。我们最终将我们的报告切换到了Analysis Services。MDX和分析服务本身有一个学习曲线,但它很棒。我们发现的一些好处是:
一些缺点:
更新:既然您正在使用MySql,那么您可以看看Pentaho Mondrian,它是一个支持MySql的开源联机分析处理解决方案。我从来没有用过它,所以我不知道它是否适用于你。会有兴趣知道它对你是否有效。
发布于 2009-12-24 08:42:45
我总是倾向于原始数据。一旦聚合,就不能再返回了。
与删除无关-除非有最简单的聚合数据集,否则无法准确地将数据还原/转置回原始数据。
理想情况下,我会使用物化视图(假设数据可以满足约束),因为它实际上是一个表。但是MySQL不支持它们,所以下一步要考虑的是包含计算列的视图,或者更新实际表的触发器。
发布于 2009-12-24 18:36:00
它有助于选择一个好的主键(即user_id、used_date、used_time)。对于常量user_id,在used_date上执行范围条件是非常快的。
但是随着表的增长,您可以通过聚合到user_id、used_date等表来减小表的大小。对于每个时间无关紧要的范围,您都可以使用该表。减少表大小的另一种方法是归档您不再(允许)查询的旧数据。
https://stackoverflow.com/questions/1955898
复制相似问题