首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在关系数据库中存储大量的点(x,y,z)

问在关系数据库中存储大量的点(x,y,z)
EN

Stack Overflow用户
提问于 2013-11-14 15:30:46
回答 2查看 168关注 0票数 0

我需要在磁盘上存储一个非常简单的数据结构-- Point。它的字段是:

  • Moment -64位整数,表示高精度的时间.
  • EventType -32位整数,引用另一个对象.
  • Value -64位浮点数.

要求:

  1. 这对(Moment + EventType)是Point的唯一标识符,因此我怀疑它是一个复合主键。
  2. 有大量的Points。高达50亿(1-2 TB的磁盘空间)。因此,格式必须尽可能小。
  3. 表的典型且几乎单一的用法是通过精确的Points和范围的Moments检索(或创建一个视图)数百万的Moments。

问题:

  • 选择哪种关系数据库管理系统?为什么?
  • Points表的最佳SQL定义是什么?
  • 对我以下想法的评论也很感谢。

我不需要一个拥有所有工具、特性和扩展的大型专业系统,比如PostgreSQL或MSSQL。另外,我不需要服务器,所以SQLite的选择看起来是最优的。另一个具有嵌入式数据库特性的伟大的RDBMS是Firebird,但我被SQLite的动态类型范式所吸引。看起来它可以节省磁盘上的空间,因为整数字段可以以“更小”的形式存储(1、2、3、4、6字节)。

但是首先,当主键复合时,SQLite会创建特殊的ROWID列(64位长):

代码语言:javascript
复制
CREATE TABLE points (
    moment integer not null,
    event_id integer not null,
    value numeric not null,
    PRIMARY KEY (moment, event_id)
);

这意味着桌子浪费了近40%的空间,而不是什么都没有。我找到了“无ROWID优化”。但它只会在3.8.2版的SQLite (2013年12月)中发布。等待我需要的ADO.NET提供者是不合适的。

另一个问题是SQLite对表使用B-树。看起来,选择数据范围的效率很低。要根据主键的范围选择一个大的Points块,它看起来像SQLite,这将是一个错误的选择。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2013-11-15 08:00:20

B-树是选择数据范围最有效的组织。

如果搜索常量event_id值和范围内的moment值,则只有当event_id是索引中的第一列时,两列索引才能用于两次查找:

代码语言:javascript
复制
CREATE TABLE points (
    event_id INTEGER NOT NULL,
    moment INTEGER NOT NULL,
    value NUMERIC NOT NULL,
    PRIMARY KEY (event_id, moment)
);

您应该尝试使用3.8.2版本,以便可以使用无ROWID优化。

开发人员很可能很高兴有人会测试这个函数,并为您提供一个已编译的预发布版本。

票数 1
EN

Stack Overflow用户

发布于 2013-11-14 16:21:39

我认为如果您的表将使用多个用户,则不应使用嵌入式DB。

按索引组织的Oracle表(可能按事件)+按范围划分如何?

或按范围划分MySql

如果在你的应用程序中真的只有一个用户,也许你可以使用文件系统?

类似于分区表的东西

您可以使用与范围相关的名称创建文件夹。

和创建名与event_id相关的文件,所以您只需要存储在文件中的时间+数据

甚至更多,例如,你的时刻看起来就像

2013111418200012345890123456

您可以创建名为2013111418的文件夹,并将部分时间和数据存储在文件中。

20001234567890123456,数据

20001234567890123457,数据

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/19981702

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档