首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >最好的数据库设计存储一个高数目的列?

问最好的数据库设计存储一个高数目的列?
EN

Stack Overflow用户
提问于 2012-04-05 08:50:11
回答 2查看 451关注 0票数 1

情景:我们正在进行一个将数据读取到我们公司数据库中的项目。这些数据成功可以包含大量的字段。我们将这些字段与某些列相匹配。

目前我们有大约120种类型的字段。这些都需要一个专栏。我们需要能够过滤和排序所有的列。

问题是,我不确定什么数据库设计最适合这一点。我在工作中使用MySQL,但我愿意听取建议。现在,我计划用120列制作一个表格,因为这是最自然的方法。

选项:其他选项是存储键和值的元表。或者使用基于文档的数据库,这样我就可以访问变量模式,并在需要时对其进行缩放。

问题:,存储所有这些数据的最佳方法是什么?行数最多可达100 k行,我需要一个可以快速选择、排序和筛选的存储空间。

更新:有关使用的更多信息。XML提要将从这个表中实时生成。我们讨论的是每小时100到500个请求,但这个数字还在增长。田地不会有规律的变化,但可能每6个月换一次。我们还将每天更新数据。因此,检查项目是否被更新和删除旧的,并添加新的。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2012-04-05 11:45:22

我现在正在做一个类似的项目,从网络下载转储并将它们加载到数据库中,将更改合并到主表中,并正确地调整字典表。

首先,你知道你要处理的数据。因此,有必要对其进行预先分析,并选择最佳的表/列布局。如果您的120列都包含文本数据,那么单个行将占用几个K字节的磁盘空间。在这种情况下,您将希望使所有查询都具有高度的选择性,以便使用索引来最小化IO。对于这样的设计,完整的扫描可能需要大量的时间。您没有提到您的500/h请求将有多大,每个请求会提取单个行、一小串行还是一大部分(直到整个表)?

第二,查看数据,您可能会勾勒出一些列,这些列的值集有限。我更喜欢对这类列进行以下转换:

  • 设置字典表,为其创建整数PK;
  • 用字典中的PK替换主表列中的实际值。

转换是由用C编写的触发器完成的,所以尽管它给了我上传的惩罚,但我确实有一些好处:

blocks;

  • better

  • 减少了数据库和主表的总大小;

  • 为数据库和操作系统缓存频繁访问的数据查询

  • 提供了更好的选择

第三,尝试根据你将要做的摘录来分割数据。通常情况下,表中只有30-40%的字段被所有查询使用,其余60-70%的字段在所有查询中分布均匀,部分使用。在本例中,我建议相应地拆分主表:将总是被使用的字段提取到单个“主”表中,并为其余字段创建另一个字段。实际上,您可以有几个“另一个”,在一个单独的表中对数据进行逻辑分组。

在我的实践中,我们有一个包含客户详细信息的表:名称详细信息、地址详细信息、状态详细信息、银行详细信息、账单详细信息、财务详细信息和一组自定义注释。这样一个表上的所有查询都是昂贵的查询,因为在我们的大多数报告中都使用它(报告通常会执行完整的扫描)。将这个表分割成一组较小的表,并在其之上构建一个带有规则的视图(为了使外部应用程序高兴),我们成功地提高了性能(抱歉,不再有数字了)。

总结一下:您知道将要处理的数据,也知道将用于访问数据库、分析和设计相应的查询。

票数 0
EN

Stack Overflow用户

发布于 2012-04-05 08:57:29

100 k行上的120列是不够的,这仅仅给出了一个度量标准:大小。另一种是交易。你说的每秒有多少交易?

这是一次夜间更新,经理每周运行一次报告,还是每小时请求一百万页?

我通常不需要开始寻找“聪明”的解决方案,直到触及一个10米的记录表,或数百个查询每秒。

哦,不要使用键值对表.它们在关系数据库中不是很好,所以坚持使用正确的类型化字段。

就我个人而言,我建议坚持传统的单列场方法,只有在测试表明它确实不正确的情况下才会偏离这一原则。

关于检索,如果插入/更新只是每天发生,那么我认为服务器端的一些谨慎的索引,以及在任何地方生成XML的良好缓存,都会减少服务器的命中率。例如,您说‘我们将每天更新数据成功’,那么就不应该每次都需要查询数据库。虽然每小时1000人只是每分钟17人。结果可能是什么都没有。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/10025466

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档