是否需要为文本中的每个关键字执行一次sql查询？

Question

我正在做一个内容重写器，基本上它会用它们的同义词替换单词。

我在mySQL数据库中有同义词，表中包含3列

id        int(11)
keyword      varchar(50)
synonyms    varchar(255)

条目如下所示：

50  slake       abate,slack,decrease,lessen,minify
51  abate       slake,slack,decrease,lessen,minify
52  slack       slake,abate,decrease,lessen,minify
53  decrease    slake,abate,slack,lessen,minify
54  lessen      slake,abate,slack,decrease,minify
55  minify      slake,abate,slack,decrease,lessen

因此，我的第一个想法是首先重写文本中的每个单词(忽略黑名单中的一些关键字)，然后执行一个sql查询，以查看数据库中是否存在该单词的同义词。但是如果我有一个1000个单词的文本，1000个sql查询会不会太多？另外，一些同义词有两个单词(比如“扔掉”)，所以我可能最终不得不在文本中进行比word多得多的查询。

有没有更好的方法来实现这一点？

Answer 1

这不是更好地建模为规范化的模式吗：

Word Table:
    id        int(11) 
    word      varchar(50) 

Synonym Table
    WordId     int(11)
    SynonymId  int(11)

例如，单词的同义词是：

Select W2.Word 
from SynonymTable S
join WordTable W on S.WordId = W.Id
join WordTable W2 on S.SynonymId = W2.Id
where W.word = 'slake' 

为WordTable(Word)、SynonymTable(WordId)和SynonymTable(SynonymId)创建索引

使用这种方法有几个原因：

灵活的

• ：由于标准化，每个word
• Efficient:的同义词数量没有限制，行的大小非常小，因此每个数据库页都可以容纳许多行，从而使更多的页可以装入可用内存

中

Answer 2

如果行数足够小，则将所有值从数据库中拉入内存并直接访问它们。您还可以将文本插入到数据库中的临时表中，并可能运行一次查询来替换单词。

Answer 3

我不确定SQL是不是最适合这里工作的工具。SQL设计用于处理记录之间的关系，而不是文本块。

如果您真的必须在SQL中执行此操作，那么最好的方法可能是按照JZD的建议，为文本创建一个临时表。您可以有一个键，它是文本中单词的索引(第一个单词是1，第二个单词是2，依此类推)，然后是单词。

然后，您可以在临时表和同义词表之间进行连接。这一切都应该运行得相当快，因为任何SQL引擎都可以有效地处理连接。

您仍然无法找到多个单词短语的同义词。如果您将自己限制为两个单词短语，则可以将所有单词对加载到数据库中，并以与上面相同的方式找到它们。它只会使你的数据库大小增加一倍，所以它应该是易于处理的。

编辑如果你真的想做一个健壮的实现，可以处理多个单词的短语，你应该使用Rabin-Karp字符串查找算法。