一种识别调谐参数及其可能范围的方法

Question

我是机器学习方面的新手。但是当我开始学习的时候，我发现所有的方法都有一些调优参数，并且这些参数都有一系列可能的值。通过网格搜索，我们确定了一组优化函数的参数。但是有任何方法可以找到调优参数的可能域吗？这肯定会节省我的时间和电脑的工作。此外，一些方法(如xgboost )具有大量的调优参数。有没有办法知道该调哪首歌，哪首歌该离开。我一直在使用sklearn python库。

Answer 1

没有一个完整的答案，但太长，不能发表评论。

我总是首先尝试查看默认参数是如何执行的。然后，从文档或一些阅读中，您可以看到每个参数的全局影响是什么(我的意思是，增加参数X意味着使模型变得复杂，或者参数Y意味着提高解的收敛速度)。根据得到的第一个结果，选择一个参数，一个对模型影响最大的参数，并使其与最初的结果有一定的不同。如果验证集上的情况有所改善，则继续以这种方式移动值，如果没有这样做，则相反。通常情况下，在不调整每个参数的情况下，就可以获得良好的结果。

这是一种手工的方法，并不是最优的。但是当您精确地知道您是机器学习的初学者时，我相信这是学习“感觉”什么通常会影响Xgboost算法的性能以及影响较小的方法的最佳方法，因此在初级粗调中可以忽略这一点。

https://xgboost.readthedocs.io/en/latest/parameter.html有一些关于什么参数会影响什么的很好的信息。如果您需要的话，不要犹豫地问一些关于特定参数的更精确的问题:)

Answer 2

我同意之前关于领域知识的评论，这肯定会有所帮助。当你建立经验，你也会得到一个“感觉”的工作。有些参数对NLP有较好的效果，其他参数对图像处理的影响较小。这是你在“战壕”呆了一段时间后才会学到的东西。

要构建这种体验，您可以尝试以这样的方式构建您的代码，这样您就可以尝试多个模型，每个模型都有自己独特的参数。当我使用一个新的数据集时，我可能会创建多个循环和/或线程，每个循环和/或线程构建自己的模型，我将比较所有模型的准确性和丢失率，然后缩小要调整的参数。这为你创造了更多的工作来创建这个方法，然后跟踪结果，但这是一个很好的方法，让你了解什么-做什么-什么，它将帮助你作出更好的决定在未来。