我能否直接应用到超参数调整的技术中，并选择最佳的模型？

Question

我注意到，在一些消息来源中，作者首先用默认的超参数来训练模型(比如来自scikit-learn的模型)，模型自然会给出结果。然后，他们会尝试优化超参数，即使参数网格包含相同的默认参数(例如，对穷举网格搜索)，然后选择具有最佳参数的最优模型。

当我练习的时候，我做了同样的步骤，但是在我解剖了这个过程之后，我意识到这可能是多余的。如果穷举网格搜索(或任何其他技术)涉及到使用各种超参数组合来训练模型，那么直接使用这些技术并直接获得问题的最佳模型不是更合理吗，而不是试图用默认的超参数来优化模型，这几乎总是会提高性能。就像这段代码，来自scikit-learn的官方网站。将预处理后的培训数据集与最佳模型相匹配，然后继续进行项目：

parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]}
svc = svm.SVC()
clf = GridSearchCV(svc, parameters)
clf.fit(iris.data, iris.target)

此外，在某些情况下，优化模型并不是最明智的想法，或者无论如何，始终优化模型是最佳实践吗？

Answer 1

建立模型是一个迭代过程，我们无法猜测哪一种算法和哪些参数在一开始就给数据带来了良好的结果。因此，最好从默认参数的模型开始，然后再调优参数。

此外，默认参数与您在GridSearchCV中提供的参数不一样。例如，在SVC中，默认的内核是'rbf‘，它也需要伽马参数。不过，使用“线性”内核可以获得很好的结果，与其他内核相比，它要快得多。

这都取决于您正在使用的数据。我可以从这个问题中看出，您使用的虹膜数据只有较少的特性；但是，如果要使用SVC构建一个由1000个功能组成的模型，那么默认参数将不会对您有帮助。然后，您必须使用GridSearchCV尝试各种参数组合。

最后，我得出结论，始终调整模型是最佳实践。你不能跳过这个。