Lucene startOffSet应大于endOffSet错误

Question

我使用的是lucene 4.4。当我尝试添加带有shingle、WordDelimiter和stopwords过滤器工厂的文档时，我得到了以下异常：

在org.apache.lucene.analysis.shingle.ShingleFilter.incrementToken(ShingleFilter.java:323)的org.apache.lucene.analysis.tokenattributes.OffsetAttributeImpl.setOffset(OffsetAttributeImpl.java:45)中，java.lang.IllegalArgumentException: startOffset必须为非负，并且endOffset必须为>= startOffset，startOffset=36945，endOffset=36943

此例外并不适用于所有的面包费。这些是针对特定文档的。有人知道这件事吗？

Answer 1

您的同义词筛选器可能创建的位置增量为0，而ShingleFilter不处理0位置增量。(参见Lucene 3475)

我相信您应该能够通过将KeepOrig设置为false来设置您的SynonymMap规则来处理此问题。基本上，您希望确保SynonymFilter不会为同一位置创建多个术语。如果在索引时和查询时应用相同的SynonymFilter，则通常不需要保留原始are。