首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >spacy - token不是OOV,但没有向量

spacy - token不是OOV,但没有向量
EN

Stack Overflow用户
提问于 2021-03-01 04:29:11
回答 1查看 32关注 0票数 1

我正在使用English-medium作为spacy,我遇到了一种测试我对输出的理解的情况。

简而言之,我有一个单词,它不是OOV (token.is_oov == False),但没有向量(token.has_vector == False)。

更有可能的是,我忽略了一件明显的事情,但我直观地理解OOV缺少一个向量,在本例中,长度为300的向量是0。

简单地说,一个词汇表中的标记怎么可能缺少向量呢?

EN

回答 1

Stack Overflow用户

发布于 2021-03-01 04:57:42

对于我未来的自己:我没有考虑语言模型。

根据docs,685K个令牌,其中20k个具有向量。向量的Top-N是有意义的。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66413553

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档