首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >提取大量的数据需要花费太长时间。需要一个加快速度的方法

问提取大量的数据需要花费太长时间。需要一个加快速度的方法
EN

Stack Overflow用户
提问于 2019-07-01 16:04:37
回答 1查看 188关注 0票数 0

我正在创建一个客户端仪表板网站,在我们的数据库中显示许多不同的图表和不同视图的数据。

这些数据是他们为保险目的工作的医疗病人和公司的记录。数据以聚合图表的形式显示,但是页面上有一个筛选功能,用户可以使用它来过滤单个患者的记录。它们可以过滤的字段是

  • 医疗索赔的日期范围
  • 与保险持有人的关系
  • 性
  • 雇主组(用户选择与其一起工作的多个不同组,并可以在过滤器中打开或关闭这些组)
  • 用户列表(站点的用户可以创建任意的患者列表,并保存他们的ID并在以后编辑)。可以选择“无”、“一个”或“多个列表”。如果选择了多个选择器,也有任意/所有选择器。
  • 一组过滤器,用户可以从其他更内部结构化的数据块中定义(带有预设默认值)。用户最多可以自定义其中的三个,并且可以选择任何一个,或者没有一个,他们返回一个病人in列表,这些in存储在内存中,直到更改为止。

问题是加载数据可能需要很长时间,有些页面从30秒到每分钟加载(首先加载页面,然后通过ajax函数以JSON形式下载数据,同时显示加载自旋器)。我们使用的一些存储过程非常复杂,需要多个层次的嵌套查询。我尝试过使用Query来简化它们,但是我们已经做了所有建议的更改,这仍然需要很长的时间。我们的数据库,人们已经看过,但没有看到任何其他方式,使查询更简单,同时仍然得到我们需要的数据。

按照现在设置的方式,只会更改日期范围,雇主组将导致再次访问数据库。数据库从不对任何其他字段进行筛选。对筛选器选择的任何其他更改都在前端进行。我试着改变它的工作方式,并将所有字段发送到后端,以便数据库进行筛选,结果却花费了更长的时间,更不用说必须等待每一个更改,而不是仅仅等待几个更改。

我们使用的是MS 2014 (SP1)。我的问题是,我们有什么办法加快速度?即使这意味着完全改变我们的数据存储方式?

EN

回答 1

Stack Overflow用户

发布于 2019-07-01 16:30:05

您没有提供任何细节-所以这是相当通用的。

加速您的查询-这是最好的,最容易,最容易出错的选项.现代硬件可以处理庞大的数据集,并仍然提供亚秒的响应。发布您的查询、DDL、示例数据并向Stack溢出解释--很可能您会得到显著的改进。

购买更好的硬件-如果你真的不能加速查询,找出瓶颈是什么,并购买更好的硬件。这是如此便宜的日子,使最大的SSD,RAM和CPU可能会花费较少的时间来找出如何处理较不理想的路线下面。

缓存-而不是返回到数据库的一切,使用缓存。找出您的仪表板需要“最新”的内容,以及数据的唯一性,并尽可能地缓存查询结果。许多开发框架对缓存都有一流的支持。缓存的问题在于它使调试变得困难--如果用户报告了一个bug,他们是否在查看缓存的数据?如果是的话,缓存是过时了吗?是数据中的错误,还是缓存中的错误?

预计算如果缓存不可行,可以预先计算数据.例如,当你创建一个新的病人记录时,你可以按性别更新病人报告、按日期更新病人报告、按日期更新病人报告、更新“保险公司耐心”报告等等。这就创造了大量的工作--甚至更多的错误机会。

去正常化-这是核选择。去正规化通常以牺牲写入速度为代价提高报告速度,并以引入大量bug机会为代价。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/56838854

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档