ROLAP柱状数据库

Question

我们有一个非常简单的用例，但是我们很难选择最适合我们需要的DB解决方案。

所需经费：

一个OLAP DB，它允许我们通过不同的属性(千)查询数百万条记录，并且可以持有一个主键。同时，当上传数据时，它必须是部分快速的。

用例：

我们有一个用户数据库，每个用户都属于不同的属性。有多达10k的属性，但是大多数用户的每个属性都不到30个。

示例表：

user/properties

用户1/1、5、10

用户2/7，5，9，24，42,1090

用户3/9

用户4/98,1049,2000

。。

理想的情况是有一个列存储数据库，其中每个属性都是列，并且数据库允许超过10k的属性。

Monetdb正好适合我们，但有两个非常关键的缺点：

• 批量负载非常低，在我们的测试中，它给我们5ms的记录上传。上传100万条记录需要一个多小时，速度非常慢。
• 大容量加载在重复主键上失败(我们希望更新“复制键”上的属性值，但是这个数据库是不可能的)。

我们也在考虑德鲁伊，但更多的是“事件”驱动。当添加了每个属性时，您需要一个时间戳。它还没有被排除，但它并不是我们所需要的完美契合。

如果需要的话，我可以给出更多的解释，任何的指导都会很感激！

谢谢

Answer 1

不清楚如何大容量加载到数据库中。在一个普通的4核台式机和16G内存中，一个简单的拷贝到一个由100列和125行组成的表中并不需要超过半个小时。参见例如http://homepages.cwi.nl/~mk/ontimeReport

注意，引入10K列会导致为每个用户设置所有值。您可以重新考虑数据库设计，并更多地依赖user:property表设置。