如何从Spacy库中的哈希值中取回字符串？

Question

我正在使用spaCy库从事自然语言处理。如何从散列中取回字符串值？

下面是我用python编写的spaCy库的详细代码

注意-这个问题主要是关于spaCy库的，而不是python。

# import spacy package for english language
from spacy.lang.en import English

# initialize nlp with English
nlp = English()

# get hash from string
cat_hash = nlp.vocab.strings["cat"]
print(cat_hash)

# Look up the cat_hash to get the string
cat_string = nlp.vocab.strings[cat_hash]
print(cat_string)

Answer 1

这很有趣。nlp.vocab.strings并不包含英语中的所有单词。len(nlp.vocab.strings)透露，这里只有1009个单词-主要是功能词:代词，辅助动词等。你可以用以下命令查看它们

for s in nlp.vocab.strings:
     print(s)

现在，您仍然可以使用nlp.vocab.strings["cat"]请求散列值，但它不会将"cat“添加到字符串中，而只是返回它的散列值。这就是查找nlp.vocab.strings[cat_hash]不起作用的原因--“猫”不在那里，它的散列也不在那里。

一般而言，哈希不是唯一的，因此是不可逆的。现在，您可以将单词添加到StringStore (它将获得与独立于StringStore的hash ins相同的散列)，然后您就可以查找它了

>>> cat_hash = nlp.vocab.strings.add("cat")
>>> cat_hash
5439657043933447811
>>> nlp.vocab.strings[5439657043933447811]
'cat'

附注:也许，您想要使用的是nlp.vocab而不是nlp.vocab.strings。如果字典中没有该字符串，nlp.vocab会创建新的条目，它也可以与散列一起使用。但是，它返回的不是散列，而是一个具有text和orth属性的Lexeme

>>> dog=nlp.vocab["dog"]
>>> dog.text
'dog'
>>> dog.orth
7562983679033046312
>>> nlp.vocab[7562983679033046312].text
'dog'
>>>