如何用MOE调优机器学习超参数？

Question

我试图使用在Yelp创建的“度量优化引擎”( 莫伊 )来调优机器学习算法的超参数。他们的文档有点有限，我很难找到要遵循的例子。

假设我想根据以下发行版为C、Gamma和kernel type找到支持向量机的最优值：

SVC_PARAMS = [
    {
        "bounds": {
            "max": 10.0,
            "min": 0.01,
        },
        "name": "C",
        "type": "double",
        "transformation": "log",
    },
    {
        "bounds": {
            "max": 1.0,
            "min": 0.0001,
        },
        "name": "gamma",
        "type": "double",
        "transformation": "log",
    },
    {
        "type": "categorical",
        "name": "kernel",
        "categorical_values": [
            {"name": "rbf"},
            {"name": "poly"},
            {"name": "sigmoid"},
        ],
    },
]

我试图最大化的目标函数是我的训练集的准确度评分。

我如何使用MOE's api来完成这一任务？

Answer 1

MOE不支持分类变量，它只允许连续的超参数。要实现您想要的目标，您可以将每个分类实例作为一个单独的问题来优化，然后使用MOE实例中概述的流程。最后，您可以从每种内核类型的优化模型中选择最佳模型。

或者，您可以使用由创建MOE的团队构建的SigOpt。我们在MOE开始的许多工作的基础上扩展了许多工作。它提供了对连续、整数和分类参数的支持，以及在MOE中找不到的许多其他特性和增强。我们在这篇博客文章中概述了这个精确的示例，并在文章中提供了示例代码。您可以在我们的免费试用层或免费学术层中运行此示例。