是否反对使用相同(无标签)数据进行基于伯特的模型和下游任务的预培训？

Question

我希望在一个特定的领域使用未标注的数据来训练Electra模型。对于使用相同的数据进行无监督学习，然后在下游使用相同的数据进行监督学习任务，是否有任何反对意见？

Answer 1

不用谢。最近一位ACL纸( AllenAI )甚至表示，这是最好的方法。他们建议继续对任务数据进行预培训，并声称它减少了域错配所造成的问题。因此，如果您从一开始就对域内数据进行培训，那么如果您有足够的数据，这可能是一件好事。