仅针对嵌入的BERT的无监督微调？

Question

我想在未标记的数据上对特定领域的BERT进行微调，并让输出层检查它们之间的相似性。我该怎么做呢？我是否需要首先微调分类器任务(或问题答案等)。然后拿到嵌入物？或者我可以只使用预训练的Bert模型，而不使用任务，并使用我自己的数据进行微调？

Answer 1

没有必要对分类进行微调，特别是在没有任何监督分类数据集的情况下。

你应该继续以最初训练的无监督方式训练BERT，即使用掩蔽语言模型目标和下一句预测继续“预训练”。Hugginface的实现包含用于此的BertForPretraining类。