微调和很少的射击学习有什么区别？

Question

我试图理解fine-tuning和few-shot学习的概念。

我理解微调的必要性。它本质上是调整一个预先训练的模型到一个特定的下游任务。然而，最近我看到了大量的博客文章，声称零学习，一次学习和很少的射击学习。

，

• ，它们和微调有什么不同？在我看来，很少有速成式学习是微调的专长。我在这里少了什么？

有人能帮帮我吗？

Answer 1

微调-当你已经训练了一个模型来执行你想要的任务，但是在一个不同的数据集上，你使用预先训练过的权重进行初始化，并在目标(通常是较小的)数据集上训练它(通常以较小的学习率)。

很少的射击学习-当你想训练一个模型的任何任务，使用非常少的样本。例如，您有一个针对不同但相关的任务进行培训的模型，您(可以选择)修改它并使用少量示例对目标任务进行培训。

例如：

精调-训练一个意图分类的模型，然后在一个不同的数据集中微调它。

很少的镜头学习-在大型文本数据集上训练语言模型并修改它(通常是最后一层)，通过在小标记数据集上进行训练来分类意图。

可以有更多的方法来做很少的射击学习。对于另外一个例子，训练一个模型来分类一些类有很小数量的训练样本(或0的零射击和一次射击的1)的图像。在推理中，正确地分类这些罕见的类(在训练中是罕见的)成为少有的射击学习的目标。