伯特微调

Question

我试图建立我的回答问题的模型，基于BERT und不理解微调的含义。我是否理解它是正确的，它就像对特定领域的适应？如果我想把它和维基百科的语料库结合起来，我只需要在我的网络中整合一个没有改变的预先训练过的模型？

Answer 1

微调是采用(精炼)预先训练的伯特模型来做两件事：

1. 域名
2. 任务(例如分类、实体提取等)。

您可以使用预先培训过的模型作为-是在一开始，如果性能足够，微调您的用例可能是不需要的。

Answer 2

细化更像是对下游任务采用预先训练的模型。然而，最近的最先进的证明，细化对QA任务没有多大帮助。还请参见下面的帖子。