像伯特·托肯泽那样用单词来分割句子？

Question

我试图在我的文本中定位BERT令牌程序的所有UNK令牌。一旦我得到了UNK标记的位置，我就需要确定它属于哪个词。为此，我尝试使用words_ids()或token_to_words()方法获得单词的位置(我认为结果是相同的)，这些方法给出了这个令牌的id单词。

问题是，对于一个大的文本，有许多方法来分割文本的文字，而我尝试的方式与我从token_to_words方法得到的位置不匹配。我怎样才能像Bert记号器一样分割我的文本？

我看到伯特用WordPiece在子单词中标记，而对于完整的单词则不使用。

我现在要说的是：

  tokenized_text = tokenizer.tokenize(texto) # Tokens
  encoding_text = tokenizer(texto) # Esto es de tipo batchEncoding, como una instancia del tokenizer
  tpos = [i for i, element in enumerate(tokenized_text) if element == "[UNK]"]  # Posicion en la lista de tokens

  word_list = texto.split(" ")
  for x in tpos:
    wpos = encoding_text.token_to_word(x) # Posicion en la lista de palabras
    print("La palabra:  ", word_list[wpos], "    contiene un token desconocido: ", tokenizer.tokenize(word_list[wpos]))

但是它失败了，因为索引"wpos“不适合我的word_list。

Answer 1

正如@cronoik在评论中提出的那样，这个问题是用token_to_chars()方法解决的。它给了我准确的位置(而且它是普遍的，不像我以前用过的单词，它取决于如何分裂)，甚至是UNK。