尽管导入了所有包，Bert Tokenizer仍无法正常工作。这有没有新的语法变化？

Question

尝试运行Bert的记号赋予器，但我一直收到错误。有没有人能帮我解决问题呢？

FullTokenizer = bert.bert_tokenization.FullTokenizer
bert_layer = hub.KerasLayer("https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1", trainable=False)
vocab_file = bert_layer.resolved_object.vocab_file.asset_path.numpy()
do_lower_case = bert_layer.resolved_object.do_lower_case.numpy()
tokenizer = FullTokenizer(vocab_file, do_lower_case)

错误：()中的AttributeError回溯(最近一次调用)->1 FullTokenizer = bert.bert_tokenization.FullTokenizer 2 bert_layer = hub.KerasLayer("https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1"，3 trainable=False) 4 vocab_file =hub.KerasLayer 5 do_lower_case = bert_layer.resolved_object.do_lower_case.numpy()

AttributeError:模块'bert‘没有特性'bert_tokenization’

下面所有内容都已导入以供参考。

!pip install bert-for-tf2
!pip install sentencepiece
!pip install bert-tensorflow
!pip install tensorflow==2.0

try:
    %tensorflow_version 2.x
except Exception:
    pass
import tensorflow as to
import tensorflow_hub as hub
from tensorflow.keras import layers
import bert
from bert import tokenization

Answer 1

我以前也遇到过类似的情况。

尝试在运行脚本/笔记本的目录中查找名为"bert“的文件夹。删除该文件夹或将其重命名为"bert“以外的名称。当您导入bert时，它很可能会尝试访问您在Python站点包中安装的bert-for-tf2文件夹。

如果这仍然不起作用，请尝试

从bert导入标记化