首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何为用户自定义字段设计数据库?

问如何为用户自定义字段设计数据库?
EN

Stack Overflow用户
提问于 2011-02-24 22:58:53
回答 14查看 60.3K关注 0票数 153

我的要求是:

  • 需要能够动态添加任何数据类型的用户定义字段
  • 需要能够快速查询UDF
  • 需要能够根据数据类型对UDF进行计算
  • 需要能够根据数据类型对UDF进行排序

其他信息:

我正在寻找的性能primarily

  • There是几百万个主记录,可以有自定义定义文件数据attached

  • When我最后一次检查,有超过5,000万个用户定义项记录在我们目前的database

  • Most的时间,自定义文件只附加到几千个主记录,并不是所有的

  • UDF连接或使用作为关键字。它们只是用于查询或报告

的数据

选项:

  1. 用StringValue1,StringValue2创建一个大表格...IntValue1,IntValue2,...我讨厌这个想法,但如果有人能告诉我为什么它比其他想法更好,我会考虑它。
  2. 创建了一个动态表,它根据需要添加一个新的列。我也不喜欢这个想法,因为我觉得除非您为每个包含UDFName、UDFDataType和column.
  3. Create的表建立索引,否则性能会很慢。当添加新的UDF时,生成一个仅提取该数据并将其解析为指定类型的视图。不符合分析条件的项返回NULL。
  4. 创建多个UDF表,每个数据类型一个。所以我们有UDFStrings,UDFDates等表。可能会和#2做同样的事情,并在新字段添加
  5. XML DataTypes时自动生成视图?我以前没有用过这些东西,但我见过有人提到它们。不确定他们是否会给我想要的结果,特别是performance.
  6. Something else?
EN

回答 14

Stack Overflow用户

回答已采纳

发布于 2011-03-01 14:46:58

如果性能是主要考虑因素,我会选择#6……每个UDF都有一个表(实际上,这是#2的一个变体)。这个答案是专门针对这种情况而定制的,并描述了数据分布和访问模式。

优点:

  1. 因为您指出某些 UDF 具有整个数据集的一小部分的值,所以单独的表将为您提供最佳性能,因为该表将仅与支持 UDF 所需的一样大。相关指数也是如此。
  2. 您还可以通过限制必须为聚合或其他转换处理的数据量来提高速度。将数据拆分为多个表可让您对 UDF 数据执行一些聚合和其他统计分析,然后通过外键将该结果连接到主表以获取非聚合属性。
  3. 您可以使用反映数据实际内容的表/列名称。
  4. 您可以完全控制使用数据类型、检查约束、默认值等来定义数据域。不要低估动态数据类型转换对性能的影响。此类约束还有助于 RDBMS 查询优化器制定更有效的计划。
  5. 如果您需要使用外键,内置的声明性引用完整性很少会被基于触发器或应用程序级别的约束实施所超越。

缺点:

  1. 这可能会创建很多表。强制模式分离和/或命名约定将缓解这一点。
  2. 需要更多的应用程序代码来操作自定义函数定义和管理。我希望这仍然比原始选项1、3和4所需的代码更少。

其他注意事项:

  1. 如果数据的性质对 UDF 进行分组有意义,那么应该鼓励这样做。 这样,这些数据元素可以组合到一个表中。 例如,假设您有颜色、尺寸和成本的 UDF。 数据的趋势是该数据的大多数实例看起来像

'红色','大',45.03

而不是

NULL,“中等”,NULL

在这种情况下,通过组合 1 个表中的 3 列不会导致明显的速度损失,因为很少有值会是 NULL,并且您避免再创建 2 个表,即当您需要访问所有 3 个列时需要减少 2 个连接 .

2. 如果您从一个人口众多且经常使用的 UDF 中遇到性能障碍,那么应该考虑将其包含在主表中。

3. 逻辑表设计可以将您带到某个点,但是当记录数变得非常庞大时,您还应该开始查看您选择的 RDBMS 提供了哪些表分区选项。

票数 51
EN

Stack Overflow用户

发布于 2011-03-03 15:59:06

我有关于这个问题的written a lot。最常见的解决方案是实体-属性-值反模式,它类似于您在选项#3. Avoid this design like the plague中描述的内容。

当我需要真正动态的自定义字段时,我在这个解决方案中使用的是将它们存储在XML的blob中,这样我就可以随时添加新字段。但是为了提高速度,还要为需要搜索或排序的每个字段创建额外的表(您不需要为每个字段创建一个表--只为每个可搜索字段创建一个表)。这有时被称为倒排索引设计。

您可以在此处阅读2009年有关此解决方案的有趣文章:http://backchannel.org/blog/friendfeed-schemaless-mysql

或者,您可以使用面向文档的数据库,在该数据库中,每个文档都有自定义字段。我会选择Solr。

票数 23
EN

Stack Overflow用户

发布于 2011-03-06 16:24:13

这听起来像是一个由非关系解决方案(如MongoDB或CouchDB )更好地解决的问题。

它们都允许动态模式扩展,同时允许您维护所寻求的元组完整性。

我同意Bill Karwin的观点,EAV模型对您来说不是一个好的方法。在关系系统中使用名称-值对本质上并不糟糕,但只有当名称-值对构成一个完整的信息元组时才能正常工作。当使用它迫使您在运行时动态地重新构建一个表时,所有的事情都开始变得困难。查询成为透视维护中的一项练习,或者迫使您将元组重建向上推到对象层。

如果不在对象层中嵌入模式规则,则无法确定空值或缺少值是有效条目还是缺少条目。

您将失去有效管理架构的能力。对于"value“字段,100个字符的varchar类型正确吗?200个字符?应该改为nvarchar吗?这可能是一个艰难的权衡,最终你不得不在你的set的动态特性上设置人为的限制。例如“您只能有x个用户定义的字段,并且每个字段只能有y个字符。

使用面向文档的解决方案,如MongoDB或CouchDB,您可以在单个元组中维护与用户关联的所有属性。由于连接不是问题,生活是快乐的,因为这两个人都不能很好地使用连接,尽管大肆宣传。

如果您有需要ACID级完整性的数据,则可以考虑拆分解决方案,将高完整性数据存储在关系数据库中,而将动态数据存储在非关系存储中。

票数 12
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5106335

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档