首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >计算密集型应用程序:加载与查询数据库

问计算密集型应用程序:加载与查询数据库
EN

Software Engineering用户
提问于 2011-05-05 14:32:17
回答 4查看 900关注 0票数 8

我的公司有一套成熟的应用程序(追溯到15+年),计算密集型的应用程序(模拟),我们用来做咨询工作。我在房子的模拟/咨询方面工作,而不是软件开发方面。最近,我了解到该体系结构的一个特殊特性,它与我有关:我们的大输入数据集(200-500 me,有时更多)首先被从数据库完全加载到内存中。然后,模拟引擎从内存中访问输入数据。

这给我的印象是“早熟的优化”和/或一种老式的想法,因为我相信有数据库服务器可以相当快。该体系结构导致了另一个问题,即我们的模拟数据库在sim根本无法运行之前只能是这么大(略高于GB)。首席架构师是一位科学家,而不是一名软件开发人员,而且对此有点固执,所以我想征求社区对这个问题的意见。

我们的建筑伤到我们了吗?是否有任何关于这一主题的论文/工作/测试-在数据库在即读和内存中的数据库副本之间进行权衡?如有任何意见或见解,将不胜感激。在我和我的公司讨论这个问题之前,我想先接受教育。

EN

回答 4

Software Engineering用户

回答已采纳

发布于 2011-05-05 14:50:14

我们的建筑伤到我们了吗?

不是的。

是否有任何关于这一主题的论文/工作/测试-在数据库在即读和内存中的数据库副本之间进行权衡?

是。上百个。

这就是数据库缓存东西的原因。内存中的数据库越多,数据库工作的速度就越快。

所有聪明的缓存算法(LRU等)都是设计来达到相当好的性能和相当好的使用内存。对于通用数据库产品来说,这可能涉及到一些有趣的权衡。

然而,对于您的应用程序来说,将所有东西放入内存显然是最佳的。没有权衡的余地。您已经达到了性能的上限。

如有任何意见或见解,将不胜感激。

用其他任何东西替换内存中的所有内容可能会涉及更多的I/O,因此速度更慢。

如果你想加快速度,你可以做一些事情。

  1. 不要将文件加载到数据库中,然后查询数据库以创建内存结构。把文件加载到内存中。快多了。
  2. 如果可能的话,分解您的处理以创建一个OS级别的管道,其中部分结果从stdin读取,结果写在stdout上。一系列管道阶段将消耗更多的核心和更多的内存,通常会导致吞吐量的提高。
票数 2
EN

Software Engineering用户

发布于 2011-05-05 14:42:02

内存中的数据库可能比硬盘上的数据库更快。也有做混合的选择。

无论如何,还有更多的因素可以消除硬盘选项。我建议让首席建筑师来处理这个架构(如果你想做他的工作,他会很固执)。相反,要关注规模限制和业务计划。给他带来问题(你需要模拟大于1GB的数据集),让他想出一个解决方案。

票数 6
EN

Software Engineering用户

发布于 2011-05-05 14:42:59

我不是这个领域的专家,但我看不出有什么能胜过“记忆中的方法”。是的,加载所有这些数据的速度很慢,但是一旦加载完毕,您的数据检索时间基本上是0。如果您在与模拟相同的机器上运行数据库,那么您将引入网络延迟。

如果没有真正理解这些数据和您正在模拟的内容以及如何进行模拟,那么这个建议可能值得,也可能不值得。您可以一次加载大量数据块(即加载价值100 by /X行的数据),开始处理数据,然后在第一批处理结束之前准备好处理下一个100 by。

票数 5
EN
页面原文内容由Software Engineering提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://softwareengineering.stackexchange.com/questions/73937

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档