edismax不支持CommonGramsQueryFilterFactory？

Question

我使用Solr3.6作为搜索服务器，并且有一个text_general类型，它是：

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <charFilter class="solr.HTMLStripCharFilterFactory"/>
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.CommonGramsFilterFactory" words="stopwords.txt" ignoreCase="true" />
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
    <!-- in this example, we will only use synonyms at query time
    <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
    -->
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt" /> 
    <filter class="solr.StemmerOverrideFilterFactory" dictionary="stemdict.txt" /> 
    <filter class="solr.PorterStemFilterFactory" />
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.CommonGramsQueryFilterFactory" words="stopwords.txt" ignoreCase="true" />
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt" /> 
    <filter class="solr.StemmerOverrideFilterFactory" dictionary="stemdict.txt" /> 
    <filter class="solr.PorterStemFilterFactory" />
  </analyzer>
</fieldType>

但我发现，当我使用edismax搜索"to be or not to be“时，由于停用词的配置，整个短语都会被删除。但我确实使用了CommonGramsQueryFilterFactory进行查询分析。调试结果显示：

<str name="rawquerystring">to be or not to be</str>
<str name="querystring">to be or not to be</str>
<str name="parsedquery">+()</str>
<str name="parsedquery_toString">+()</str>

我哪里做错了？edismax不支持CommonGramsQueryFilterFactory？

Answer 1

http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters#solr.CommonGramsFilterFactory说

“通过组合通用标记(通常与停用词列表相同)和常规标记来生成带状结构(即the_cat)。”

看起来它只将普通令牌与常规令牌组合在一起。您正在尝试做的是将通用令牌与通用令牌相结合，这可能是失败的原因。

我还没有尝试过，但正在考虑使用它，并遇到了您的问题和这篇文档。

Answer 2

似乎edismax对查询进行了标记化，并按其自身来分析每个术语。CommonGramsQueryFilter应该获取所有单词以生成对，但在本例中，它获取术语“to”并且不执行任何操作，然后获取术语“be”并且不执行任何操作，依此类推。

因此，在这种情况下，CommonGramsQueryFilter什么也不做，StopFilterFactory删除所有停用词，只留下一个空查询。