用我的公制调优模型

Question

我的项目是用一个度量来评价回归模型的性能，它不属于机器学习的基本度量(MSE，MAE，.)。那么，如何根据我的度量来调整模型呢？

Answer 1

您没有提到要调优的参数或使用的回归算法。我假设你只是想调几个超参数。

优化超参数的通用方法非常简单，可以很容易地实现:迭代应该测试的所有值组合，使用每个参数组合来训练和测试模型，然后选择获得最佳性能的组合。

例如，如果您有两个参数A和B，并带有A\in \{ a_1,a_2,a_3\}和B\in \{ b_1,b_2\}：

for A in { a_1, a_2, a_3 } do
  for B in { b_1, b_2 } do
    train model M with parameters A and B on the training set
    apply model M to the test set to obtain predictions
    calculate metric score on the predictions
    store score for parameters (A,B)
  done
done
pick the parameters corresponding to max performance

注意，在参数调优这一步之后，使用所选参数的最终模型应该在一个新的测试集上进行测试。

如果是一些复杂的情况，它是值得使用的遗传算法，而不是探索所有参数的全部空间。