基于BLOOM LLM模型的令牌分类面向使用

Question

我正在尝试导入BloomTokenizer：

from transformers import BloomTokenizer, BloomModel

但是收到以下错误消息：

ImportError                               Traceback (most recent call last)
<ipython-input-10-7a6e1f78a498> in <module>()
----> 1 from transformers import BloomTokenizer, BloomForTokenClassification
      2 import torch

ImportError: cannot import name 'BloomTokenizer' from 'transformers' (/usr/local/lib/python3.7/dist-packages/transformers/__init__.py)

PS:变压器4.2版

Answer 1

没有BloomTokenizer，但您可以使用BloomTokenizerFast