栅栏模型的验证？

Question

我构建了一个栅栏模型，然后使用该模型通过预测命令从已知数据点预测到未知数据点。有没有办法验证模型和这些预测？我是否必须分两部分来做这件事，例如使用模型的二项式部分的敏感性和特异性？关于如何评估此模型的有效性，还有其他想法吗？

Answer 1

对于验证预测模型，我通常信任Cross-Validation。

简而言之:通过交叉验证，您可以仅使用训练数据(具有已知结果的数据)来衡量模型的预测性能。因此，您可以对模型的工作方式有一个大致的了解。交叉验证对于各种不同的模型都非常有效。缺点是，它可能会获得相当大的计算量。

对于大型数据集，10次交叉验证就足够了。你的数据集越小，你需要做的“折叠”就越多(即，对于非常小的数据集，你必须进行留一交叉验证)

通过交叉验证，您可以获得整个数据集的预测。然后，您可以将这些预测与实际输出进行比较，并测量模型的执行情况。

在更复杂的比较中，交叉验证的结果可能需要一点时间才能理解，但对于您的通用问题“如何评估模型的有效性”，结果应该非常容易使用。