在安装了标记器之后，我在conda环境中找不到bert base uncased

Question

我正在使用bert-base-uncased开发一个情感提取器，但遇到错误。I pip install tokenizers并使用：

import tokenizers
import os

MAX_LEN = 128
TRAIN_BATCH_SIZE = 32
VALID_BATCH_SIZE = 16
EPOCHS = 10
BERT_PATH = "bert-base-uncased"
MODEL_PATH = "model.bin"
TRAINING_FILE = "../input/train.csv"
TOKENIZER = tokenizers.BertWordPieceTokenizer(
    os.path.join(BERT_PATH, "vocab.txt"),
    lowercase=True
)

如何在新的conda环境中安装后使用查找模型的位置。谢谢。

Exception: Error while initializing WordPiece

Answer 1

你应该这样说：

'{BERT_PATH}/vocab.txt'

另外，由于您已将bert模型添加到系统中，因此path中包含斜杠。