如何使用RoBERTa进行多输出回归？

Question

我有一个问题陈述，我希望使用文本输入来预测多个连续输出。我尝试使用HuggingFace库中的“robertaforsequenceclassification”。但文档指出，当最后一层中的输出数超过1时，就会自动使用交叉熵损失，如下所述：https://huggingface.co/transformers/v2.2.0/model_doc/bert.html#transformers.BertForSequenceClassification。但是，我想在回归设置中使用RMSE损失，最后一层有两个类。人们将如何修改它呢？

Answer 1

BertForSequenceClassification是一个包装BERTModel的小包装器。

它调用模型，接受池输出(输出元组的第二个成员)，并在其上应用分类器。代码在这里，https://github.com/huggingface/transformers/blob/master/src/transformers/modeling_bert.py#L1168

最简单的解决方案是编写自己的简单包装类(基于BertForSequenceClassification类)，hat将进行回归，这将对您喜欢的损失进行回归。