是否应该对培训或测试集的结果进行基线比较？

Question

我有一个分类问题，我想找出特征工程是否改进了我的最终模型。交叉验证用于评估功能工程步骤的影响，因此没有验证集(只有训练/测试)。简言之，我的情况包括以下几点：

• 收集数据
• 列车基线模型
• 特征工程
• 列车终态模型
• 比较最终模型与基线(问题)

比较基线和最终模型，我假设，可以通过在测试集中运行两个模型来完成，然后评估它们的结果的差异(如果有的话)。但是，我不知道使用培训集/代替比较这些模型是否有用。如果有人能详细说明这个问题，那就太好了。

Answer 1

您肯定希望基于测试集进行比较：

• 由于所有通常的原因，对训练集的评估是没有意义的。
• 特别是在不同特性的情况下，比较训练集上的性能可能会产生严重的误导性:如果一个模型被套用，它在训练集上的性能会更好，但它的实际性能(在测试集上)可能会更差。

请注意，研究培训集上发生的事情可能是有意义的(例如测量过度拟合)，但这并不是用于比较模型的真正评估。