Keras-Tuner:可以在目标/度量函数中使用测试/验证集吗？

Question

是否可以基于测试集而不是训练集，使用keras-tuner对模型性能进行评分/评估？我之所以这样问，是因为到目前为止，我的理解是，在tuner.search()中用作目标的度量函数只使用y_true和y_pred作为输入参数，并且它们都引用训练集(如果我错了，请纠正我)。

那么如何在我的度量函数中使用测试数据呢？

Answer 1

简而言之:您不能，也不应该在超参数调优期间使用测试数据度量。KerasTuner允许您使用验证数据度量作为目标，这是我鼓励的。但是，最终测试应始终在所有调优和训练完成后进行，并且不应使用任何训练或验证数据。

要使用验证指标，只需告诉KT其目标是名称中以val开头的内容。