80-20还是80-10-10的训练机器学习模式？

Question

我有一个非常基本的问题。

( 1)建议何时保存部分数据以供验证，何时没有必要？例如，什么时候才能说80%的训练、10%的验证和10%的测试分离更好，什么时候才能说简单的80%的训练和20%的测试分离就足够了？

2)此外，使用K-交叉验证是否与简单的拆分(培训-测试)一致？

Answer 1

1)在80-10-10方案中，80%用于培训，10%用于验证，10%用于测试。搜索最佳超参数所需的验证集。

对于没有超参数的模型，使用验证集并不会有多大好处(尽管，它仍然有助于确定何时使用早期停止来停止对模型的培训)。在这种情况下，一个人可能只保留80%作为培训集和20%作为测试集。

2)是的，K折叠CV可用于简单拆分。