sense2vec性能改进

Question

我正在使用Sense2Vec (构建在Spacy上，一个很棒的自然语言处理库/工具)，并测试各种单词之间的相似性。不幸的是，性能相当慢(在常规的MacBook专业版上执行时间超过一秒)。

有没有人有办法加快速度呢？

代码如下：

term = "dog|NOUN"
sense2vec = Sense2Vec().from_disk("path-to-s2v_reddit_2019_lg")
sims = sense2vec.most_similar(term, n=top)

我怀疑一些缓存可以加快速度，但我不确定应该缓存哪些元素。

任何帮助都是非常感谢的。

Answer 1

确实有一种方法可以加快Sense2Vec.most_similar的速度。https://github.com/explosion/sense2vec/blob/master/scripts/06_precompute_cache.py提供了一个脚本，可预先计算最近邻居的缓存。然后，它会将缓存与组件一起保存在磁盘上，从而使数据更大，但查询速度更快。如果某个查询未被缓存覆盖，most_similar将回退到使用正常计算。