我需要在磁盘上存储一个非常简单的数据结构-- Point。它的字段是:
Moment -64位整数,表示高精度的时间.EventType -32位整数,引用另一个对象.Value -64位浮点数.要求:
Moment + EventType)是Point的唯一标识符,因此我怀疑它是一个复合主键。Points。高达50亿(1-2 TB的磁盘空间)。因此,格式必须尽可能小。Points和范围的Moments检索(或创建一个视图)数百万的Moments。问题:
Points表的最佳SQL定义是什么?我不需要一个拥有所有工具、特性和扩展的大型专业系统,比如PostgreSQL或MSSQL。另外,我不需要服务器,所以SQLite的选择看起来是最优的。另一个具有嵌入式数据库特性的伟大的RDBMS是Firebird,但我被SQLite的动态类型范式所吸引。看起来它可以节省磁盘上的空间,因为整数字段可以以“更小”的形式存储(1、2、3、4、6字节)。
但是首先,当主键复合时,SQLite会创建特殊的ROWID列(64位长):
CREATE TABLE points (
moment integer not null,
event_id integer not null,
value numeric not null,
PRIMARY KEY (moment, event_id)
);这意味着桌子浪费了近40%的空间,而不是什么都没有。我找到了“无ROWID优化”。但它只会在3.8.2版的SQLite (2013年12月)中发布。等待我需要的ADO.NET提供者是不合适的。
另一个问题是SQLite对表使用B-树。看起来,选择数据范围的效率很低。要根据主键的范围选择一个大的Points块,它看起来像SQLite,这将是一个错误的选择。
发布于 2013-11-15 08:00:20
B-树是选择数据范围最有效的组织。
如果搜索常量event_id值和范围内的moment值,则只有当event_id是索引中的第一列时,两列索引才能用于两次查找:
CREATE TABLE points (
event_id INTEGER NOT NULL,
moment INTEGER NOT NULL,
value NUMERIC NOT NULL,
PRIMARY KEY (event_id, moment)
);您应该尝试使用3.8.2版本,以便可以使用无ROWID优化。
开发人员很可能很高兴有人会测试这个函数,并为您提供一个已编译的预发布版本。
发布于 2013-11-14 16:21:39
我认为如果您的表将使用多个用户,则不应使用嵌入式DB。
按索引组织的Oracle表(可能按事件)+按范围划分如何?
或按范围划分MySql
如果在你的应用程序中真的只有一个用户,也许你可以使用文件系统?
类似于分区表的东西
您可以使用与范围相关的名称创建文件夹。
和创建名与event_id相关的文件,所以您只需要存储在文件中的时间+数据
甚至更多,例如,你的时刻看起来就像
2013111418200012345890123456
您可以创建名为2013111418的文件夹,并将部分时间和数据存储在文件中。
20001234567890123456,数据
20001234567890123457,数据
https://stackoverflow.com/questions/19981702
复制相似问题