关系数据库设计模式问题-海量只读数据库

Question

我有一个有趣的挑战，就是要建立一个从大约500个不同来源导入数据的数据库。

每个源都有自己的模式，而且很多都非常非常不同。然而，它们都是关于一个公共实体的数据。

我首先想到的是一个典型的实体/属性/值模式，但是在将来自一个源(550k行)的非规范化导入转换为AEV之后，我在Attribute_Value表中得到了3600万行。有了适当的索引，这仍然是非常快的，但这只是到目前为止500个导入源中的一个。

我认为这不会扩展，但它确实有助于非常好的逻辑分区，我们不需要跨导入源连接，所以我们可以(理论上)构建50个左右的独立数据库。

我正在寻找那些使用过海量数据源的人，以及他们在行数以亿计时如何处理事情的经验。

Answer 1

您是否考虑过OLAP解决方案？它们可能是为您这样的情况而设计的。需要读取和分析大量数据。

Answer 2

我有billion+行表，行数并不像碎片化程度和表本身的宽度那样重要，表越宽，页面容纳的空间就越小

除了OLAP/SSAS之外，您是否考虑过使用分区函数( sql server 2005中的新增功能)？

您还可以利用页级和行级压缩( sql server2008中的新功能)这将帮助您将更多数据存储到内存中，我自己做了使用压缩的测试，请查看此链接以了解与不使用压缩的A Quick Look At Compression In SQL 2008相比如何。