主动学习中的模型选择

Question

我涉足主动学习，并想知道如何结合这一点，为网络寻找最好的架构。

在我的理解中，主动学习使用一种启发式方法来选择要标记的最佳实例，以便尽可能快地学习。然而，选择这些实例的方式取决于模型本身。

有办法处理这个模型依赖吗？

例如，在我看来，模型结构取决于火车的大小。如果是这样的话，那么允许模型在主动学习期间改变其体系结构岂不是有益的吗？有没有办法做到这一点，或者我们必须非常小心地选择一个模型，然后再进行积极的学习。

我看到的另一种可能性是在每次查询之后，对所有标记的数据在网络体系结构上执行网格搜索。但是，在上面的模型仍然取决于最初选择的模型.

Answer 1

在训练机器学习模型中存在嵌套循环。外部循环是为模型选择超参数，包括体系结构。内环在保持超参数不变的同时训练模型的参数。

可以在外部循环上尝试许多可能的选项，并使这些选项依赖于内部循环的结果。