Lucene 3上的"tokens“列表

Question

我是Lucene的新手，我开始学习版本3分支，但有一件事我不明白(显然是因为我在这方面没有经验)。

在Lucene2.9中，如果我想要一个令牌列表，我会创建一个Token类的ArrayList，例如ArrayList。这对我来说是非常直观的，token的概念也非常清晰。

现在不鼓励使用令牌类，而是使用基于属性的API，我是否必须创建自己的类来封装我想要的属性？如果是，这不是几乎重新创建了Lucene的Token类吗？

我正在做一个测试分析器的类，我想，有一个结果令牌列表可以让测试变得更容易。

任何帮助都将不胜感激;)谢谢！

Answer 1

根据Token Javadoc的说法，“尽管不再需要使用Token，但通过新的TokenStream API，它可以用作实现所有属性的便利类，这对于轻松地从旧的TokenStream API切换到新的API特别有用。”

我建议你继续使用令牌。它符合上面的描述。

Answer 2

使用TermAttribute类：

TokenStream stream = analyzer.tokenStream("field", "text");
TermAttribute termAttr = stream.getAttribute(TermAttribute.class);
while (stream.incrementToken()) {
    String token = termAttr.term();
}

Answer 3

我认为你可以这样做：

TokenStream tkst = analyzer.tokenStream("field", "text");

Token token = tkst.getAttribute(Token.class);

while (tkst.incrementToken()) {

 `// Do something with token.`

}

适当的文档在分析包中：http://lucene.apache.org/java/3_0_2/api/all/org/apache/lucene/analysis/package-summary.html