目标函数与评价指标的匹配

Question

模型拟合的目标函数和模型验证的评价指标是否需要在整个超参数搜索过程中保持一致？

例如，一个XGBoost模型是否可以以均方误差作为目标函数(将“目标”参数设置为reg: squared :回归和平方损失)，而交叉验证过程是基于显著不同的度量来评估的，例如伽马偏差(伽马回归的剩余偏差)？或者评价指标应该尽可能地与目标函数相匹配，因此需要选择均方误差作为评价指标。

Answer 1

在整个超参数搜索过程中，模型验证的评估标准必须是相同的，以便公平地比较不同的模型。

在超参数搜索过程中，模型拟合的目标函数是不同的。在超参数搜索过程中，可以比较不同的算法，每种算法都有不同的目标函数。

目标函数和评价指标应该被认为是完全独立的概念。每个算法只能有一个目标函数。然而，可以有许多评估指标。为计算机选择目标函数，使其能够高效、有效地拟合训练数据。评估指标是为人类利益相关者选择的，因此他们能够更好地理解模型的影响。

这两个概念之间的混淆通常来自于仅仅测量一个机器学习系统来最小化错误。如果机器学习系统的测量范围扩大到包括其他需求，那么目标函数和评价指标之间的差别就更明显了。目标函数的建立通常只是为了最小化训练数据集上的误差，并与所选择的优化技术很好地配合。评估度量还可以评估模型错误，但也可以包括预测速度、模型大小、模型公平性和许多其他需求。