主动学习中的过度适应

Question

​

• 在应用主动学习抽样技术之前，如何确保在小数据集上训练的初始模型不会受到过度拟合的影响？因为我将使用这个模型来选择新的未标记样本。

Answer 1

我对我的回答不太确定，所以请稍许接受。

我认为你不应该太担心最初的型号被过度安装：

• 这很可能发生，因为初始数据集很小，因此模型可能别无选择，只能捕获偶然发生的模式。
• 主动学习的过程是为了逐步“修正”初始模型。这不仅关系到模型捕获新的细节，也涉及到基于数据的模型重新评估以前的模式。

所以我的直觉是，如果有必要的话，就让这个模型有点过火。然而，如果模型覆盖了很多和/或太复杂，这意味着它将需要很多(可能太多)实例被标记。视具体情况而定，这可能是一个更严重的问题:初始模型应该足够体面，以便主动学习过程不需要对许多/所有实例进行标记。

Answer 2

您应该在验证数据集上测试您的模型:如果验证分数是正确的，就没有过度拟合。

如果您想确保根本没有过度拟合，您将希望在几个验证数据集上测试您的模型。