我正在使用Lucene来索引我的文档。在我的例子中,每个文档都很小,但数量却很大(~2 2GB)。而且在每个文档中,都有许多重复的单词或术语。我想知道使用Lucene做索引对我来说是不是正确的方式,或者在索引之前我应该对文档做什么预处理。
下面是几个my documents的例子(每列是一个字段,第一行是字段名称,从第二行开始,每行是一个文档):
ID category track keywords
id1 cat1 track1 mode=heat treatment;repeat=true;Note=This is an apple
id2 cat1 track2 mode=cold treatment;repeat=true;Note=This is an orange我想索引所有文档,在3个字段(类别、跟踪和关键字)上执行搜索,并返回唯一的id1。
如果我直接对此进行索引,重复的词条会影响搜索性能吗?你有没有一个好主意我应该如何做索引和搜索?在此之前非常感谢。
发布于 2010-07-12 21:20:16
重复的术语可能会迫使评分者考虑大量文档,从而影响搜索性能。如果您有不能区分文档的术语,我建议对文档进行预处理,以便删除这些术语。但是,您可能希望从索引所有内容开始(例如,对于10000-20000个文档的样本),看看您在相关性和性能方面的表现如何。
从您描述的方式来看,您将需要为类别、跟踪和关键字字段建立索引,可能需要使用类别和跟踪字段的KeywordAnalyzer。您只需要存储id字段。您可能需要为关键字字段创建自定义分析器,或者在实际索引之前对其进行预处理。
https://stackoverflow.com/questions/3227044
复制相似问题