带有LookAhead的Lucene标记器

Question

有谁能告诉我用LookAhead实现Lucene Tokenizer的正确方向吗？

我正在使用滚雪球词干分析器，我希望能够获得城市名称的短语，并防止它们被词干取代，这样“洛杉矶”将被设置为一个标记，而不是“洛杉矶”和“洛杉矶”的两个标记。

我还需要保留不与任何城市名称匹配的令牌作为一个单词。

有什么想法吗？

提亚

Answer 1

Here是我写的东西的要点，它可以做你想要的事情。