首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用Lucene实现XQuery全文搜索的提示

问使用Lucene实现XQuery全文搜索的提示
EN

Stack Overflow用户
提问于 2010-01-14 17:44:26
回答 1查看 1K关注 0票数 3

我在以前的项目中使用过Lucene,所以我对API有点熟悉。然而,我从来没有做过任何“幻想”(其中“幻想”指的东西,如使用过滤器,不同的分析器,升压,有效载荷等)。

我将着手实现XQuery的全文搜索功能:

http://www.w3.org/TR/xpath-full-text-10/

它的查询能力是我见过的最复杂的。从我使用Lucene的经验来看,我知道它可以用来实现一些特性;但是,我想了解所有这些特性。对于每个特性,我只需要一个简单的答案,比如“feature最好使用查询过滤器实现”,这样我就可以从每个特性的正确方向出发。

注意:我将实现自己的查询解析器,并使用Lucene类的各种实例化“手动”构造查询。

3.3基数选择

这样你就可以说出这样的话:

代码语言:javascript
复制
title ftcontains "usability" occurs at least 2 times

这意味着标题字段必须至少包含两次“可用性”。这是如何做到的呢?

3.4.4堵截选项

这使您能够匹配已根据查询中已被阻止的单词索引的单词,如:

代码语言:javascript
复制
title ftcontains "improve" with stemming

即使标题包含“改进”,也会与此相匹配。请注意,不能使用PorterStemFilter,因为是否使用词干词干是在查询时指定的,而不是索引时间。

在这种情况下,我是否需要将每个单词加到索引中两次?一次用于原始单词,一次用于词根词(假设词干词与原始单词不同)?还是有更好的方法?

3.4.5案件选择

这允许您在查询时指定一个“不区分大小写”、“区分大小写”、“小写”、“大写”。

我认为可以使用查询筛选器实现最后两个,因为对于“小写”,只有当文档文本都是小写(大写字母相同)时,它才能匹配。

但是,您将如何处理大小写不敏感/敏感的规范?一种想法是将每个单词加两次:一次在原来的大小写中,一次在规范化的大小写中(任意选择小写)。有更好的主意吗?

3.4.6决定论选项

这类似于投选选项,除了它的“透明不敏感”或“透明敏感。如何实现这一点?”

3.4.7停止词选项

这允许您指定- qt查询时间-“使用停止词”,例如:

代码语言:javascript
复制
abstract ftcontains "propagating of errors"
with stop words ("a", "the", "of")

将文档与包含“传播少量错误”的摘要匹配。我知道这听起来很奇怪。就好像停止词变成了通配符,例如:

代码语言:javascript
复制
"propagating of errors" -> "propagating * errors"

其中*将匹配文档中的任何单词。如何在Lucene中实现这一点?

3.5.3温和-不选择

XQuery有两种口味的“不”:(常规)不和温和-不。这允许您进行如下查询:

代码语言:javascript
复制
body ftcontains "Mexico" not in "New Mexico"

这只会匹配包含“墨西哥”的文件,而不是“新墨西哥州”这个短语的一部分。我猜你可以用一个查询过滤器来做这个,对吗?

3.6.1有序选择

这允许您要求查询中单词的顺序与文档中单词的顺序相匹配,例如:

代码语言:javascript
复制
title ftcontains ("web site" ftand "usability") ordered

只有当“网站”和“可用性”这两个词都出现在文档中,而“可用性”按词序排列在“网站”之后时,才能与之匹配。Lucene SpanQuery类必须能够访问word位置,是吗?你是怎么进入这些的?

3.6.4范围选择

这允许您要求单词出现在相同的“范围”中,例如:

代码语言:javascript
复制
abstract ftcontains "usability" ftand "web site" same sentence

您还可以执行{相同的、不同的、不同的}{语句段}的任何组合。我对此的猜测还将是跟踪有效载荷中的句子/段落数据。是?

3.7忽略选项

考虑到部分XQuery:

代码语言:javascript
复制
let $x := <book>
  <title>Web Usability and Practice</title>
  <author>Montana <annotation> this author is
      an expert in Web Usability</annotation> Marigold
  </author>
  <editor>Vera Tudor-Medina on Web <annotation> best
      editor on Web Usability</annotation> Usability
  </editor>
</book>

如果我要查询:

代码语言:javascript
复制
book ftcontains "Web Usability" without content $x//annotation

然后,它将完全不考虑元素中的任何文本。"Web可用性“将被发现两次:一次在title元素中,一次在编辑器元素中。注意,后一个元素出现在短语"Web可用性“的中间。对此,我的猜测也是使用有效载荷数据来存储每个单词都在其中的元素,然后在此基础上使用过滤器。是?

我知道这是一个很大的数目,但任何一个指标都很感激。谢谢!

EN

回答 1

Stack Overflow用户

发布于 2013-01-26 21:21:27

您可能有兴趣查看我刚刚在GitHub:https://github.com/msokolov/lux上发布的Lux项目。它集成了撒克逊XQuery处理器和Lucene/Solr,通过XQuery提供全文搜索功能。我采用的方法是提供一个直接公开Lucene查询功能的搜索函数,而不是这样实现XQuery全文。但是,我相信xqft可以使用类似的方法实现。Lux包含两种索引:路径索引(包括oelement和属性名称)和文本索引,其中包括节点名称作为令牌文本的一部分(而不是在有效负载中)。这使得使用现有的Lucene查询变得很容易。

但是,要更好地回答您的问题:我非常肯定,3.3可以使用带有大斜率的SpanNearQuery来实现。

对于3.4、3.5、3.6和3.7:为了允许查询时分析选择(如词干、区分大小写等),有两种可能性:为每个分析选项的选择创建多个字段,或为每个分析选项组合在同一位置添加多个标记。但是,对于第二个选项,您还需要向每个令牌添加一些信息,以指示使用了哪个分析设置来创建它,Lucene没有给您提供任何帮助--您必须使用一些技巧,比如添加一个有效负载或以某种方式为术语文本添加前缀。

嗯--只是注意到这个问题是两年前提出的,从来没有回答过。很明显这是个大项目!

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/2066218

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档