用于德国新闻分类的HuggingFace转换器模型

Question

我一直在尝试为我的项目找到一个合适的模型(多类德语文本分类)，但与here提供的模型有点混淆。有一些带有text-classification标签的模型，但它们是用于二进制分类的。大多数其他模型都是用于[MASK]单词预测的。我不确定该选择哪一个，以及它是否能与多个类一起工作

如果有任何建议，将不胜感激！

Answer 1

当您的类完全不同时，您不需要寻找特定的文本分类模型，因为大多数列出的模型都使用了一个基本模型，并对基本层进行了微调，并根据需要训练了输出层。在您的情况下，您将删除输出层，它们对基础层的微调不会给您带来太多好处，也不会对您造成太大伤害。有时他们扩展了词汇表，这对你的任务可能是有益的，但你必须检查描述(通常是稀疏的:()和你自己的词汇表，以获得关于各自模型的更多细节。

一般来说，我建议您立即使用其中一个基本模型，并仅在结果不充分的情况下寻找其他模型。

以下是包含6个类的bert示例：

from transformers import BertForSequenceClassification, BertTokenizer

tokenizer = BertTokenizer.from_pretrained("bert-base-german-dbmdz-uncased")
model = BertForSequenceClassification.from_pretrained("bert-base-german-dbmdz-uncased", num_labels=6)