首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在使用Lucene索引时,有没有处理重复的好方法?

问在使用Lucene索引时,有没有处理重复的好方法?
EN

Stack Overflow用户
提问于 2010-07-12 16:59:34
回答 1查看 425关注 0票数 1

我正在使用Lucene来索引我的文档。在我的例子中,每个文档都很小,但数量却很大(~2 2GB)。而且在每个文档中,都有许多重复的单词或术语。我想知道使用Lucene做索引对我来说是不是正确的方式,或者在索引之前我应该对文档做什么预处理。

下面是几个my documents的例子(每列是一个字段,第一行是字段名称,从第二行开始,每行是一个文档):

代码语言:javascript
复制
ID     category     track     keywords
id1    cat1         track1    mode=heat treatment;repeat=true;Note=This is an apple
id2    cat1         track2    mode=cold treatment;repeat=true;Note=This is an orange

我想索引所有文档,在3个字段(类别、跟踪和关键字)上执行搜索,并返回唯一的id1。

如果我直接对此进行索引,重复的词条会影响搜索性能吗?你有没有一个好主意我应该如何做索引和搜索?在此之前非常感谢。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2010-07-12 21:20:16

重复的术语可能会迫使评分者考虑大量文档,从而影响搜索性能。如果您有不能区分文档的术语,我建议对文档进行预处理,以便删除这些术语。但是,您可能希望从索引所有内容开始(例如,对于10000-20000个文档的样本),看看您在相关性和性能方面的表现如何。

从您描述的方式来看,您将需要为类别、跟踪和关键字字段建立索引,可能需要使用类别和跟踪字段的KeywordAnalyzer。您只需要存储id字段。您可能需要为关键字字段创建自定义分析器,或者在实际索引之前对其进行预处理。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/3227044

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档