Talos hyperparametr search:如何在评估步骤中设置度量

Question

我想了解一下talos中的超参数搜索。具体地说，就是模型的评估。我正在浏览这个示例笔记本https://nbviewer.jupyter.org/github/autonomio/talos/blob/master/examples/Hyperparameter%20Optimization%20with%20Keras%20for%20the%20Iris%20Prediction.ipynb#seven

不，我的问题是:在评估(7)中，我如何设置特定的评估指标？例如，分类问题的F1分数。他们来自凯拉斯还是塔罗斯？如果不传递参数，默认值是什么？我在talos文档中找不到它。我是不是忽略了什么？https://autonomio.github.io/docs_talos/#evaluate

Answer 1

Talos中的评估使用F1分数和二进制平均值进行二进制分类，宏观平均值用于multi_label和multi_class，MAE用于回归。这些来自sklearn。

metric参数指的是您已经在Scan()实验中使用的任何指标，用于首先选择要评估的最佳模型。您可以在Scan()中使用任何Keras或自定义指标，就像使用Keras模型一样。