搜索1000字文档中的15,000个词组

Question

我有一个数据库，大约有15,000个单词短语，长度从2-7个单词不等.我希望能够搜索一个小文档(大约1000字)，看看它包含哪些短语。我基本上是在寻找实现这一目标的最佳方法。

我目前在两个表中有MySQL中的数据：

短语 (~15,000行)

phrase_id

短语

长度(短语中的单词数)

documents (100/天)

document_id

文本

短语列表保持不变，新文档一直在添加。

据我所知，最好的方法是使用某种索引。理想情况下，当文档被添加时，它将被索引以查看它包含哪些短语，以便在稍后进行搜索时，结果会立即返回。

我已经考虑过如何在MySQL中做到这一点

1. 将文档标记为两个单词短语，查找以标记开头的短语
2. 迭代结果，增加令牌的长度- if (短语长度、==标记长度) {match} else {}。
3. 将结果存储在一个新的表document_phrases phrase_id，document_id中

但是，这一切似乎需要大量的开销，我想知道像狮身人面像这样的外部工具是否能够更有效地完成这些任务呢？我已经研究过了，但它似乎主要是为了搜索大量文档中的一个短语，而不是搜索一个文档中的多个短语。

有什么技术我完全错过了吗？请注意，虽然技术上很有趣，但使用java/python的解决方案超出了我计划在这个项目中学习的范围。

Answer 1

你查过全文搜索了吗。给出的例子和找到相关性的能力可能会给你一些想法或替代。