情景:我们正在进行一个将数据读取到我们公司数据库中的项目。这些数据成功可以包含大量的字段。我们将这些字段与某些列相匹配。
目前我们有大约120种类型的字段。这些都需要一个专栏。我们需要能够过滤和排序所有的列。
问题是,我不确定什么数据库设计最适合这一点。我在工作中使用MySQL,但我愿意听取建议。现在,我计划用120列制作一个表格,因为这是最自然的方法。
选项:其他选项是存储键和值的元表。或者使用基于文档的数据库,这样我就可以访问变量模式,并在需要时对其进行缩放。
问题:,存储所有这些数据的最佳方法是什么?行数最多可达100 k行,我需要一个可以快速选择、排序和筛选的存储空间。
更新:有关使用的更多信息。XML提要将从这个表中实时生成。我们讨论的是每小时100到500个请求,但这个数字还在增长。田地不会有规律的变化,但可能每6个月换一次。我们还将每天更新数据。因此,检查项目是否被更新和删除旧的,并添加新的。
发布于 2012-04-05 11:45:22
我现在正在做一个类似的项目,从网络下载转储并将它们加载到数据库中,将更改合并到主表中,并正确地调整字典表。
首先,你知道你要处理的数据。因此,有必要对其进行预先分析,并选择最佳的表/列布局。如果您的120列都包含文本数据,那么单个行将占用几个K字节的磁盘空间。在这种情况下,您将希望使所有查询都具有高度的选择性,以便使用索引来最小化IO。对于这样的设计,完整的扫描可能需要大量的时间。您没有提到您的500/h请求将有多大,每个请求会提取单个行、一小串行还是一大部分(直到整个表)?
第二,查看数据,您可能会勾勒出一些列,这些列的值集有限。我更喜欢对这类列进行以下转换:
转换是由用C编写的触发器完成的,所以尽管它给了我上传的惩罚,但我确实有一些好处:
blocks;
第三,尝试根据你将要做的摘录来分割数据。通常情况下,表中只有30-40%的字段被所有查询使用,其余60-70%的字段在所有查询中分布均匀,部分使用。在本例中,我建议相应地拆分主表:将总是被使用的字段提取到单个“主”表中,并为其余字段创建另一个字段。实际上,您可以有几个“另一个”,在一个单独的表中对数据进行逻辑分组。
在我的实践中,我们有一个包含客户详细信息的表:名称详细信息、地址详细信息、状态详细信息、银行详细信息、账单详细信息、财务详细信息和一组自定义注释。这样一个表上的所有查询都是昂贵的查询,因为在我们的大多数报告中都使用它(报告通常会执行完整的扫描)。将这个表分割成一组较小的表,并在其之上构建一个带有规则的视图(为了使外部应用程序高兴),我们成功地提高了性能(抱歉,不再有数字了)。
总结一下:您知道将要处理的数据,也知道将用于访问数据库、分析和设计相应的查询。
发布于 2012-04-05 08:57:29
100 k行上的120列是不够的,这仅仅给出了一个度量标准:大小。另一种是交易。你说的每秒有多少交易?
这是一次夜间更新,经理每周运行一次报告,还是每小时请求一百万页?
我通常不需要开始寻找“聪明”的解决方案,直到触及一个10米的记录表,或数百个查询每秒。
哦,不要使用键值对表.它们在关系数据库中不是很好,所以坚持使用正确的类型化字段。
就我个人而言,我建议坚持传统的单列场方法,只有在测试表明它确实不正确的情况下才会偏离这一原则。
关于检索,如果插入/更新只是每天发生,那么我认为服务器端的一些谨慎的索引,以及在任何地方生成XML的良好缓存,都会减少服务器的命中率。例如,您说‘我们将每天更新数据成功’,那么就不应该每次都需要查询数据库。虽然每小时1000人只是每分钟17人。结果可能是什么都没有。
https://stackoverflow.com/questions/10025466
复制相似问题