从python中的变压器导入BloomTokenizer时出现的问题

Question

我正在尝试从变压器中导入BloomTokenizer

from transformers import BloomTokenizer

我收到以下错误

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: cannot import name 'BloomTokenizer' from 'transformers' 
(/root/miniforge3/envs/pytorch/lib/python3.8/site-packages/transformers/__init__.py)

我的变压器版本：

transformers                 4.20.1

我能做什么才能导入BloomTokenizer？

Answer 1

BLOOM没有慢速令牌程序类。它只有一个快速令牌器。官方文件在这一点上是错误的。相反，请使用以下方法：

 from transformers import BloomTokenizerFast
 tokenizer = BloomTokenizerFast.from_pretrained("...")