向情感分类器提供预标记化的输入

Question

根据这个demo，我正在使用python中的情感分类器。

是否可以将预标记化的文本作为预测器的输入？我希望能够使用我自己的自定义标记器。

Answer 1

有两个AllenNLP情感分析模型，它们都与它们的标记化紧密相关。基于手套的需要与预训练的GLoVe嵌入相对应的令牌，类似地，RoBERTa需要与其预训练相对应的令牌(单词片段)。将这些模型与不同的标记器一起使用是没有实际意义的。