自动深度学习系统模型的验证

Question

如何选择一个自动化系统用于评估经过培训的模型的验证集，以确保每一种新模型至少与以前的模型一样好，或者更好？

让我们说，在这种情况下，我们有一个回归问题，我们可以依赖于一个单一的性能指标，如RMSE。

我正在开发一个程序，自动训练，测试，如果测试通过，每x个新的数据样本/时间部署一个新的深入学习模型。

每一次训练都是在原始数据集(标记数据)和新数据集上进行的，而新数据集是通过对前一个模型的预测来标记的。

这些都是我想出的选择和一些利弊。

备选案文A：

创建一次验证集，始终应用此集

• 总是有一个一致的基准

• 在数据相关性可能随时间变化的情况下，验证集可能会“过时”。

备选方案B：

创建初始验证集，将新培训样本的X%添加到原始集

• 样本的一致时间分布

备选案文C：

创建一个随机验证集，每次培训

• 基准测试很可能包含一组相关的样本(数据中的样本)。

• 测试结果可能会因每次培训课程而有所不同。

备选案文D：

交叉验证

• 基准测试很可能包含一组相关的样本(数据中的样本)。

• 每个培训课程之间的差异可能最小

• 计算成本很高，对深度学习模型来说更是如此。

Answer 1

我建议选择E: Efron-功“乐观主义”自举。它在精神上类似于交叉验证，但需要像CV那样减少数量级的重复，并且它利用整个数据集。该程序在本参考第6节中进行了描述。