首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何用gensim加载中文快速文本模型?

如何用gensim加载中文快速文本模型?
EN

Stack Overflow用户
提问于 2020-03-20 17:31:17
回答 1查看 293关注 0票数 0

在尝试用gensim加载chines快速文本模型(cc.zh.300.bin)时,我遇到了以下错误

UnicodeDecodeError:'utf-8‘编解码器无法解码0位置的字节0 0xba :无效开始字节

有人能帮我吗?详细错误如下:

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-03-20 21:15:33

KeyedVectors.load_word2vec_format()方法只以Google原始word2vec.c代码所使用的普通文字和向量格式加载文件。它不会在FastText格式的文件上工作。

您应该尝试专门用于FastText格式文件的方法FastText:

https://radimrehurek.com/gensim/models/fasttext.html#gensim.models.fasttext.load_facebook_vectors

对于某些用途,备用load_facebook_model()也可能是合适的:

https://radimrehurek.com/gensim/models/fasttext.html#gensim.models.fasttext.load_facebook_model

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/60778921

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档