首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用于标记、云和搜索的最佳数据结构(如StackOverflow)?

问用于标记、云和搜索的最佳数据结构(如StackOverflow)?
EN

Stack Overflow用户
提问于 2008-10-24 18:38:33
回答 2查看 6.6K关注 0票数 39

我很想知道Stack Overflow的标记和搜索是如何架构的,因为它似乎运行得很好。

如果我想做以下所有事情,什么是一个好的数据库/搜索模型:

  1. 在各种实体上存储标记(如何标准化?)(即实体表、标签表和Entity_Tag表?)
    • 搜索具有特定标记的项目,
    • 构建适用于特定搜索结果Entity_Tag的所有标记云,以显示搜索result?

中每个项目的标记列表。

​

也许以规范化的形式存储标记是有意义的,但对于#2、#4和#3的目的来说,它也是以空格分隔的字符串。

我听说过Stack for使用Lucene进行搜索。这是真的吗?我听说过一些关于SQL优化的播客,但是没有关于Lucene的内容。如果他们确实使用Lucene,我想知道有多少搜索结果来自Lucene,以及“钻取”标签云是否来自Lucene。

EN

回答 2

Stack Overflow用户

发布于 2008-10-28 19:44:18

哇,我刚刚写了一篇很大的文章,令人窒息,挂在上面,当我按回按钮重新提交时,标记编辑器是空的。啊啊。

所以我又来了..。

关于堆栈溢出,结果表明它们使用SQL server 2005 full text search。

关于@Grant建议的操作系统项目:

  • *DotNetKicks使用DB标记,Lucene用于全文搜索。似乎没有办法将全文搜索与标记search
  • Kigg结合起来,在搜索和标记查询中都使用Linq。这两个查询都加入了Stories->StoryTags->Tags.
  • Both项目,这两个查询都有一种3表的标记方法,每个人似乎都推荐使用

。

我还发现了一些其他的问题,所以我以前也没注意到:

我现在正在为我提到的每一项做些什么:

数据库中的

  1. ,3个表:实体、标记、Entity_Tag。我使用DB来构建站点范围的标记clouds
  2. browse by标记(即urls,如SO的/questions/tagged/ASP.NET)

)。

​

我使用Lucene + NHibernate.Search

  • 标签被连接成一个TagString,由Lucene
    • 索引,所以我有Lucene查询引擎(和/ OR / NOT查询)
    • 的全部功能,我可以通过标签搜索文本和过滤器,同时

    H 143,Lucene分析器合并单词以进行更好的标签搜索(例如,标记搜索"test“也会找到标记为”测试“的东西。

​

代码语言:javascript
复制
- Lucene returns a potentially enormous result set, which I paginate to 20 results
- Then NHibernate loads the result Entities by Id, either from the DB or the Entity cache
- So it's entirely possible that a search results in 0 hits to the DB

​

  1. 还没有这样做,但我想我可能会设法从Lucene的TagString构建标记云,而不是再做一次DB击中
  2. ,但我可能会将TagString存储在DB中,这样就可以显示实体的标记列表,而不必再进行两个连接。

这意味着,每当修改实体的标记时,我必须:

exist

  • Insert/Delete

  • 插入尚未从EntityTag表

  • 更新EntityTag

  • 实体

的Lucene索引的任何新标记

考虑到读写比在我的应用程序中是非常大的,我想我可以接受这一点。唯一真正耗时的部分是Lucene索引,因为Lucene只能从它的索引中插入和删除,所以我必须重新索引整个实体以更新TagString。我对此并不兴奋,但我认为,如果我在后台线程中这样做的话,那就没问题了。

时间会证明..。

票数 57
EN

Stack Overflow用户

发布于 2008-10-25 14:27:42

我不知道它们是否是最优的,但是DotNetKicks和Kigg都是开源digg克隆实现。你可以看看他们是怎么做标签和搜索的。

我最好的猜测是:)

  1. 我从来不喜欢将多个值序列化成一个字段的想法,所以存储在一个字段中的分隔字符串对我没有吸引力.可能适用于具有树的相邻路径,但这些路径总是有序的,而标记不一定是有序的。这似乎会对您为找到它们而可能做的类似的操作员工作征税。

所以,我最初的看法可能是实体-> EntityTag <- Tag。

  1. 这种方法使得通过标记查找条目非常容易,可以通过EntityTag连接起来,一天就可以了。
  2. 这里需要一个辅助操作来为结果集选择不同的标记。(所以.)拉出结果集,b)对标记空间进行规范化。我认为,无论#1的答案是什么,您都会这样做--即使将标记填充到一个字段中也会产生重复的标记(您必须反序列化它们才能执行此操作--因此,更多的工作,是一个完全关系的approach).
  3. Still轻松的另一个论点。这里有一个领域,序列化方法工作得更好。不需要加入子标记,它就在实体中。尽管如此,通过两个表联接提取0.n标记对我来说似乎并不太困难。如果您正在讨论perf注意事项,请先将其规范化,然后通过缓存或denorm.

进行优化。

另一种选择是“两者兼得”。这似乎是一个不成熟的优化,但您可以进行完全规范化的方法,以支持任何以标记为中心的操作,并在持久化时序列化,使实体中有一个非规范化的版本。更多的工作,一些可能会脱离同步,如果没有完全涵盖,但最好的两个世界,如果有真正的限制,在您的用例完全规范化的方式。

Lucene也很有趣,您可以在索引IIRC中声明特定的元数据,这样也可以利用标记搜索。我怀疑,如果你在这条路上走得太远,那么你最终会在数据库中存储的东西和索引之间有一些不连接。我可以很好地谈论Lucene,它非常有能力,也很容易使用--我相信.Text使用它是因为它的搜索功能,并且在它切换到Community之前它支持所有的weblogs.asp.net。如果MSSQL不在图片中/足够,我会坚持全文搜索,解决数据库imo中的标记问题。

票数 6
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/234796

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档