我意识到这个问题已经讨论得很好了,但我希望您能根据我的具体需求提供意见。
我正在开发一个实时金融数据库,从网上抓取股票报价一分钟多次,并将其存储在数据库中。我目前在MySQL上使用SQLAlchemy,但我偶然发现了Redis,它看起来很有趣。它看起来很好,特别是因为它的性能,这在我的应用程序中是至关重要的。我知道MySQL也可以很快,我只是觉得实现大量缓存将是一件痛苦的事情。
到目前为止,我保存的数据大多是十进制值。我还用这些十进制值做了大量的除法和乘法运算(在不同的应用程序中)。
就数据大小而言,我每分钟多次抓取大约10,000个符号。这相当于每年大约3 TB的数据。
我也关注Redis的关键数量限制(2^32)。Redis是一个很好的解决方案吗?还有什么其他因素可以帮助我做出选择MySQL或Redis的决定?
谢谢!
发布于 2012-03-09 20:53:05
Redis是一个内存存储。所有数据都必须放入内存中。因此,除非您每年有3 TB的RAM数据,否则它不是正确的选择。2^32的限制在实践中并不是什么问题,因为您可能无论如何都必须切分数据(即使用多个实例),而且限制实际上是2^32个键,每个键有2^32个项。
如果你有足够的内存并且仍然想使用(分片的) Redis,下面是你如何存储节省空间的时间序列:https://github.com/antirez/redis-timeseries
您可能还希望修补Redis,以便添加适当的时间序列数据结构。查看Luca Sbardella的实现:
https://github.com/lsbardel/redis
http://lsbardel.github.com/python-stdnet/contrib/redis_timeseries.html
Redis非常适合实时汇总统计数据并存储这些计算的结果(例如,污垢应用程序)。然而,在Redis中存储历史数据就没那么有趣了,因为它没有提供查询语言来对这些数据执行离线计算。支持分片的基于Btree的商店(例如MongoDB)可能比Redis更方便地存储大的时间序列。
传统的关系数据库在存储时间序列方面并不是很差。人们已经将整本书都致力于这个主题:
Developing Time-Oriented Database Applications in SQL
您可能需要考虑的另一个选项是使用bigdata解决方案:
storing massive ordered time series data in bigtable derivatives
IMO主要观点(不管是什么存储引擎)是评估对这些数据的访问模式。你想用这些数据做什么?一旦存储了这些数据,您将如何访问这些数据?是否需要检索与给定符号相关的所有数据?您需要检索给定时间范围内几个符号的演变吗?你需要按时间关联不同符号的值吗?等等。
我的建议是尝试列出所有这些访问模式。对给定存储机制的选择将仅是此分析的结果。
关于MySQL的使用,我肯定会考虑table partitioning,因为数据量很大。根据访问模式的不同,我也会考虑ARCHIVE engine。此引擎将数据存储在压缩的平面文件中。它节省了空间。它可以与分区一起使用,因此,尽管它不对数据进行索引,但如果仔细选择分区粒度,它可以有效地检索数据子集。
发布于 2015-10-06 02:19:01
您应该考虑Cassandra或Hbase。两者都允许连续存储和快速追加,因此当涉及到查询时,您可以获得巨大的性能。两者都会很容易地每秒摄取数万个点数。
关键点是沿着您的一个查询维度(通常是通过滚动条),您正在连续地访问磁盘(ssd或旋转)。你不需要点击索引数百万次。您可以在Mongo/SQL中建模以获得类似的性能,但它更麻烦,而且您可以从专栏人员那里“免费”获得它,而不必做任何客户端恶作剧来将blobs合并在一起。
我使用Cassandra的经验是,对于时序用例,它比MongoDB快10倍,这已经比大多数关系数据库快得多,而且随着数据大小的增长,它相对于其他数据库的优势也在增加。即使在一台机器上也是如此。您应该从Here开始。
至少在Cassandra上唯一的缺点是,如果你有一个大的集群,有时你会有几秒钟的不一致,所以你需要强迫它,放慢它的速度,或者你接受最新的打印有时会有几秒钟的时间。在一台机器上,将会出现零一致性问题,并且您将获得相同的列优势。
不太熟悉Hbase,但它声称更一致(在其他地方会有成本- CAP定理),但它更多的是致力于设置Hbase堆栈。
发布于 2012-03-09 07:47:49
您应该首先检查Redis在数据选择和聚合方面提供的功能。与SQL数据库相比,Redis是有限的。
事实上,“Redis vs MySQL”通常不是正确的问题,因为它们是苹果和梨。如果您正在刷新数据库中的数据(也定期删除),请查看MySQL分区。参见例如我写给What is the best way to delete old rows from MySQL on a rolling basis?的答案
通过删除仅包含该数据的分区(或多个分区),通常可以很容易地从分区表中删除失去其用途的
数据。相反,在某些情况下,通过添加一个或多个新分区来专门存储新数据,可以极大地简化添加新数据的过程。
例如,请参阅这篇文章,了解如何应用它:
Using Partitioning and Event Scheduler to Prune Archive Tables
还有这一条:
https://stackoverflow.com/questions/9626379
复制相似问题