我在以前的项目中使用过Lucene,所以我对API有点熟悉。然而,我从来没有做过任何“幻想”(其中“幻想”指的东西,如使用过滤器,不同的分析器,升压,有效载荷等)。
我将着手实现XQuery的全文搜索功能:
http://www.w3.org/TR/xpath-full-text-10/
它的查询能力是我见过的最复杂的。从我使用Lucene的经验来看,我知道它可以用来实现一些特性;但是,我想了解所有这些特性。对于每个特性,我只需要一个简单的答案,比如“feature最好使用查询过滤器实现”,这样我就可以从每个特性的正确方向出发。
注意:我将实现自己的查询解析器,并使用Lucene类的各种实例化“手动”构造查询。
3.3基数选择
这样你就可以说出这样的话:
title ftcontains "usability" occurs at least 2 times这意味着标题字段必须至少包含两次“可用性”。这是如何做到的呢?
3.4.4堵截选项
这使您能够匹配已根据查询中已被阻止的单词索引的单词,如:
title ftcontains "improve" with stemming即使标题包含“改进”,也会与此相匹配。请注意,不能使用PorterStemFilter,因为是否使用词干词干是在查询时指定的,而不是索引时间。
在这种情况下,我是否需要将每个单词加到索引中两次?一次用于原始单词,一次用于词根词(假设词干词与原始单词不同)?还是有更好的方法?
3.4.5案件选择
这允许您在查询时指定一个“不区分大小写”、“区分大小写”、“小写”、“大写”。
我认为可以使用查询筛选器实现最后两个,因为对于“小写”,只有当文档文本都是小写(大写字母相同)时,它才能匹配。
但是,您将如何处理大小写不敏感/敏感的规范?一种想法是将每个单词加两次:一次在原来的大小写中,一次在规范化的大小写中(任意选择小写)。有更好的主意吗?
3.4.6决定论选项
这类似于投选选项,除了它的“透明不敏感”或“透明敏感。如何实现这一点?”
3.4.7停止词选项
这允许您指定- qt查询时间-“使用停止词”,例如:
abstract ftcontains "propagating of errors"
with stop words ("a", "the", "of")将文档与包含“传播少量错误”的摘要匹配。我知道这听起来很奇怪。就好像停止词变成了通配符,例如:
"propagating of errors" -> "propagating * errors"其中*将匹配文档中的任何单词。如何在Lucene中实现这一点?
3.5.3温和-不选择
XQuery有两种口味的“不”:(常规)不和温和-不。这允许您进行如下查询:
body ftcontains "Mexico" not in "New Mexico"这只会匹配包含“墨西哥”的文件,而不是“新墨西哥州”这个短语的一部分。我猜你可以用一个查询过滤器来做这个,对吗?
3.6.1有序选择
这允许您要求查询中单词的顺序与文档中单词的顺序相匹配,例如:
title ftcontains ("web site" ftand "usability") ordered只有当“网站”和“可用性”这两个词都出现在文档中,而“可用性”按词序排列在“网站”之后时,才能与之匹配。Lucene SpanQuery类必须能够访问word位置,是吗?你是怎么进入这些的?
3.6.4范围选择
这允许您要求单词出现在相同的“范围”中,例如:
abstract ftcontains "usability" ftand "web site" same sentence您还可以执行{相同的、不同的、不同的}{语句段}的任何组合。我对此的猜测还将是跟踪有效载荷中的句子/段落数据。是?
3.7忽略选项
考虑到部分XQuery:
let $x := <book>
<title>Web Usability and Practice</title>
<author>Montana <annotation> this author is
an expert in Web Usability</annotation> Marigold
</author>
<editor>Vera Tudor-Medina on Web <annotation> best
editor on Web Usability</annotation> Usability
</editor>
</book>如果我要查询:
book ftcontains "Web Usability" without content $x//annotation然后,它将完全不考虑元素中的任何文本。"Web可用性“将被发现两次:一次在title元素中,一次在编辑器元素中。注意,后一个元素出现在短语"Web可用性“的中间。对此,我的猜测也是使用有效载荷数据来存储每个单词都在其中的元素,然后在此基础上使用过滤器。是?
我知道这是一个很大的数目,但任何一个指标都很感激。谢谢!
发布于 2013-01-26 21:21:27
您可能有兴趣查看我刚刚在GitHub:https://github.com/msokolov/lux上发布的Lux项目。它集成了撒克逊XQuery处理器和Lucene/Solr,通过XQuery提供全文搜索功能。我采用的方法是提供一个直接公开Lucene查询功能的搜索函数,而不是这样实现XQuery全文。但是,我相信xqft可以使用类似的方法实现。Lux包含两种索引:路径索引(包括oelement和属性名称)和文本索引,其中包括节点名称作为令牌文本的一部分(而不是在有效负载中)。这使得使用现有的Lucene查询变得很容易。
但是,要更好地回答您的问题:我非常肯定,3.3可以使用带有大斜率的SpanNearQuery来实现。
对于3.4、3.5、3.6和3.7:为了允许查询时分析选择(如词干、区分大小写等),有两种可能性:为每个分析选项的选择创建多个字段,或为每个分析选项组合在同一位置添加多个标记。但是,对于第二个选项,您还需要向每个令牌添加一些信息,以指示使用了哪个分析设置来创建它,Lucene没有给您提供任何帮助--您必须使用一些技巧,比如添加一个有效负载或以某种方式为术语文本添加前缀。
嗯--只是注意到这个问题是两年前提出的,从来没有回答过。很明显这是个大项目!
https://stackoverflow.com/questions/2066218
复制相似问题