如何在Elasticsearch中根据最大词数对句子进行标记化？

Question

我有一个字符串，比如“这是一个美丽的一天”，我应该使用什么分词器或者分词器和分词过滤器之间的什么组合来生成包含最多2个单词的输出？理想情况下，输出应该是：" This，This，is，a，漂亮的一天，“到目前为止，我已经尝试了所有内置的记号赋予器，' pattern‘记号赋予器似乎是我可以使用的，但是我不知道如何为我的情况编写正则表达式模式。有什么帮助吗？

Answer 1

看起来你在找shingle token filter，它做的正是你想要的。

Answer 2

正如@Oleksii所说的那样。在本例中，max_shingle_size =2(默认值)，min_shingle_size = 1。