大型数据库优化与性能需要的建议

Question

我们正在创建一个大型数据库，估计增长率为每年200 million+记录。该数据库用于分析目的，我们将根据可用数据生成不同的表格和图形报告。我们有一些担心，需要技术投入和建议。

• 我们将来可能会对很大的桌子产生什么影响？是否对一个表中的记录数量或表大小有任何限制？
• 对这样的大型数据表进行索引的最佳方法是什么？

对数据库的优化和性能的任何建议也将不胜感激。

Answer 1

Server将有列存储索引，但这要到今年年底或明年初才会出现，但据我迄今所见(很少)，这肯定会有所帮助。

在Server中，分区是您最好的朋友。关于表中行#的限制问题，它仅受存储空间的限制。

http://msdn.microsoft.com/en-us/library/ms143432(v=sql.100).aspx

随着表的增长，添加和更新数据将需要一些时间，如果使用的是Server 2008，则可能需要考虑使用最小日志记录。

http://sqlcat.com/whitepapers/archive/2009/02/15/the-data-loading-performance-guide-2008.aspx

对于大型表，频繁更新索引可能需要很长的时间，并且已经看到了更新统计信息会给您带来快速提升的情况，而不是频繁的索引重建。

Answer 2

根据对您需求的描述，我建议您使用柱式商店数据库。

建议使用它们进行分析。我可以在您的问题中看到sql-server标记，我知道有一种方法可以设计您的表，这样SQL-Server将充当列存储数据库，但是它不会像使用真正的列存储数据库那样有效。

列存储数据库被优化为指数化和非常大的表。我会重新评论您的LucidDB，这样您就可以快速查看这些数据库的功能。

Answer 3

查看罗伯特·戴维斯( Robert )在VLDB周的帖子。他回答了很多这样的问题：http://sqlchicken.com/sql-university/