我有一个包含大约400列(平均为400万至500万行)的表,即使对于count(*)或从y查询中选择x,它的性能也很糟糕。在类似的30列表上花费几秒钟时间的复杂查询甚至在被访问的列相同的情况下也要花上几个小时。
我看到的明显的解决方案是规范化、添加索引和垂直分区。在这种情况下,规范化是不可能的,因为这些额外的列或多或少是与每个记录相关的随机数和叙述。我将在最常用的列上添加索引。
现在我的问题是垂直分区。我可以将400列划分为较小的表,假设10个表,每个表40列。但是.
经过几个小时的搜索,我发现了上述方法。任何其他更适合宽桌的方法也将受到赞赏。
发布于 2016-07-07 11:56:33
如果您打算再次加入所有的表,垂直分区将不会提高性能。性能提高来自于从查询中删除表。
至于性能开销,如果id连接两个表是一个集群主键,那么性能应该非常相似。
许多数据库(特别是面向列的数据库)内置支持垂直分区。这意味着只读取带有列的分区。我不认为Server提供这样的支持。
在您的例子中,您可能可以将数据规范化。这实际上是一个很大的胜利,因为存储的数据总量比非规范化形式要小得多--连接的开销可能很小。
您还可以考虑其他可能性:
发布于 2016-07-07 12:40:20
提供了列存储索引,允许垂直存储单个表的列,并且可以选择水平分区。Columnstore索引通常会使扫描性能提高数量级。此外,列存储存储固有地压缩数据,因此通常会显著减少存储需求。
Columnstore索引最适合于通常执行全面扫描的DSS工作负载。Server 2016引入了列存储增强功能,使列存储索引也适用于操作分析。见https://msdn.microsoft.com/en-us/library/dn817827.aspx。
https://stackoverflow.com/questions/38244733
复制相似问题