在映射任务中，长正则表达式的最佳选项是什么？

Question

我有一本很长的生物医学术语词典。每个术语(键)都有一个标识符(值)列表。

我必须在自由文本中找到这个术语。我有几本字典，大约有300,000个词条，为此，我使用Python和Java来评估速度。

该算法类似于(在Python中)：

for sentence in text_list:
    terms = dictionary.keys()
    pattern = re.compile("|".join(terms))
    matches = pattern.finditer(sentence)
    for m in matches:
        ini = m.start()
        end = m.end()
        match = m.group(1)
        save_result(ini, end, match)

我使用pypi.python.org/pypi/regex包，因为标准的re包不能编译我的长正则表达式。另外，我用Java做了同样的算法。

我使用了大约650000个句子，在Python中，编译需要3-4分钟，算法可以在3-4小时内完成。

Java在几秒钟内编译正则表达式，但算法需要16-18小时...O_O

我一直在看不同的网站和http://swtch.com/~rsc/regexp/regexp1.html有一个有趣的信息，但我不知道如何处理。

我的问题是。我已经实现了在~3小时内完成所有句子，你有没有其他方法可以在更短的时间内实现同样的目标？也许用其他语言，或者使用其他库或包？(在Java语言中，我使用标准库java.util.regex.*)。上面的网站谈到了Thonpson NFA算法，有这个算法的库或包吗？grep (Linux)是一个强大的工具，你认为我可以使用它吗？

Answer 1

正则表达式对于这个工作来说是一个错误的工具。使用您的术语创建一个字典(Python哈希表的名称)，将文本拆分成单词(使用string.split和string.rstrip删除标点符号)，并根据此字典检查文本中的每个单词。

Answer 2

您正在为文本中的每一句话重新构建和重新编译RE。在循环之外编译一次：

terms = dictionary.keys()              # why are you using a dict?
pattern = re.compile("|".join(terms))

for sentence in text_list:
    matches = pattern.finditer(sentence)
    # etc.

这应该会为你节省一些时间。

如果你想要一个包含考克斯所描述的算法的RE库，可以在他的RE2库中查找Python或Java绑定。或者，使用egrep或Awk。