我的公司有一套成熟的应用程序(追溯到15+年),计算密集型的应用程序(模拟),我们用来做咨询工作。我在房子的模拟/咨询方面工作,而不是软件开发方面。最近,我了解到该体系结构的一个特殊特性,它与我有关:我们的大输入数据集(200-500 me,有时更多)首先被从数据库完全加载到内存中。然后,模拟引擎从内存中访问输入数据。
这给我的印象是“早熟的优化”和/或一种老式的想法,因为我相信有数据库服务器可以相当快。该体系结构导致了另一个问题,即我们的模拟数据库在sim根本无法运行之前只能是这么大(略高于GB)。首席架构师是一位科学家,而不是一名软件开发人员,而且对此有点固执,所以我想征求社区对这个问题的意见。
我们的建筑伤到我们了吗?是否有任何关于这一主题的论文/工作/测试-在数据库在即读和内存中的数据库副本之间进行权衡?如有任何意见或见解,将不胜感激。在我和我的公司讨论这个问题之前,我想先接受教育。
发布于 2011-05-05 14:50:14
我们的建筑伤到我们了吗?
不是的。
是否有任何关于这一主题的论文/工作/测试-在数据库在即读和内存中的数据库副本之间进行权衡?
是。上百个。
这就是数据库缓存东西的原因。内存中的数据库越多,数据库工作的速度就越快。
所有聪明的缓存算法(LRU等)都是设计来达到相当好的性能和相当好的使用内存。对于通用数据库产品来说,这可能涉及到一些有趣的权衡。
然而,对于您的应用程序来说,将所有东西放入内存显然是最佳的。没有权衡的余地。您已经达到了性能的上限。
如有任何意见或见解,将不胜感激。
用其他任何东西替换内存中的所有内容可能会涉及更多的I/O,因此速度更慢。
如果你想加快速度,你可以做一些事情。
发布于 2011-05-05 14:42:02
内存中的数据库可能比硬盘上的数据库更快。也有做混合的选择。
无论如何,还有更多的因素可以消除硬盘选项。我建议让首席建筑师来处理这个架构(如果你想做他的工作,他会很固执)。相反,要关注规模限制和业务计划。给他带来问题(你需要模拟大于1GB的数据集),让他想出一个解决方案。
发布于 2011-05-05 14:42:59
我不是这个领域的专家,但我看不出有什么能胜过“记忆中的方法”。是的,加载所有这些数据的速度很慢,但是一旦加载完毕,您的数据检索时间基本上是0。如果您在与模拟相同的机器上运行数据库,那么您将引入网络延迟。
如果没有真正理解这些数据和您正在模拟的内容以及如何进行模拟,那么这个建议可能值得,也可能不值得。您可以一次加载大量数据块(即加载价值100 by /X行的数据),开始处理数据,然后在第一批处理结束之前准备好处理下一个100 by。
https://softwareengineering.stackexchange.com/questions/73937
复制相似问题