首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >关于如何存储和检索时间序列数据的建议

问关于如何存储和检索时间序列数据的建议
EN

Stack Overflow用户
提问于 2017-09-07 16:52:32
回答 1查看 698关注 0票数 1

我目前正在做一个项目,它需要我们存储大量的时间序列数据,但更重要的是,快速检索大量数据。

将有N个设备(>10,000)定期向系统发送数据,比方说每5秒。这些数据会很快积累起来,但我们通常只对最新的数据感兴趣,并希望压缩较旧的数据。我们不想删除它,因为它仍然有用,但不是一天有数千个数据点,而是N天/周/月过去了,我们可能只节省5到10个。

具体地说,我们希望能够在很长一段时间内获取采样数据,比如一年或两年。这里可能有数百万个点,但我们只需要这个数据的一个小的,线性分布的样本。

今天,我们正在试验influxdb,它最初看起来是一个不错的解决方案。它足够快,并允许我们以合理的结构存储数据,但我们发现它并不完全令人满意。我们无法执行上面描述的示例查询,一般来说,系统对我们来说还不够成熟。

任何关于我们如何进行的建议,或替代解决方案,我们都非常感谢。

EN

回答 1

Stack Overflow用户

发布于 2017-09-10 00:35:30

您可能会对TimescaleDB感兴趣:

https://github.com/timescale/timescaledb

它在Postgres之上构建了一个时序数据库,因此提供了完整的SQL支持,以及Postgres生态系统/可靠性。这可以为您提供更大的查询灵活性,这听起来是您想要的。

根据您的特定用例,实际上有两种解决方案。

首先,人们通常会创建两个“超级表”,一个用于原始数据,另一个用于采样数据。这些超表对用户来说就像是标准表,尽管为了更好的可伸缩性(例如,20倍的插入吞吐量与postgres对于大表大小),在幕后进行了大量的分区。

然后,您基本上从原始表汇总到采样表,并对每个表使用不同的数据保留策略(因此,您将原始数据保留1个月,将采样数据保留数年)。

http://docs.timescale.com/getting-started/setup/starting-from-scratch http://docs.timescale.com/api/data-retention

其次,您可以使用单个超表,然后只安排一个普通的SQL查询来删除某个特定时间段之前的数据中的单个行。

如果后一种方法成为一个足够常见的请求特性,我们甚至可以在未来为它添加更好的一流支持,尽管迄今为止我们遇到的大多数用例似乎更专注于#1,特别是。以便保留关于移除的数据点的统计数据,而不仅仅是直接样本。

(声明:我是TimescaleDB的作者之一。)

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/46091981

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档