文章/答案/技术大牛

发布

社区首页 >问答首页 >sentence_transformers列表索引超出范围

问sentence_transformers列表索引超出范围
EN

Stack Overflow用户

提问于 2022-06-27 18:38:45

回答 1查看 231关注 0票数 0

我试图使用sentence_transformers来获取伯特嵌入，但它不能处理例如300个文档，我一直得到错误IndexError: list索引超出了范围。怎么解决这个问题？

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('distilbert-base-nli-mean-tokens')
embeddings = model.encode(tokenized_docs_smaller, show_progress_bar=True)

sentence-transformers

python

nlp

data-science

bert-language-model

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-07-04 02:58:37

必须用BertTokenizer标记文本，而不仅仅是使用split()

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/72776921

复制

相似问题

问sentence_transformers列表索引超出范围
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问sentence_transformers列表索引超出范围EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问sentence_transformers列表索引超出范围
EN