从AutoMLRun中获取基于test_data的度量

Question

我使用以下脚本执行AutoML运行，同时也通过测试数据集

automl_settings = {
    "n_cross_validations": 10,
    "primary_metric": 'spearman_correlation',
    "enable_early_stopping": True,
    "max_concurrent_iterations": 10, 
    "max_cores_per_iteration": -1,   
    "experiment_timeout_hours": 1,
    "featurization": 'auto',
    "verbosity": logging.INFO}
automl_config = AutoMLConfig(task = 'regression',
                             debug_log = 'automl_errors.log',
                             compute_target = compute_target,
                             training_data = training_data,
                             test_data = test_data,
                             label_column_name = label_column_name,
                             model_explainability = True,
                             **automl_settings                            )

Answer 1

注意，测试数据集支持仍然是一个私有预览功能。它可能会在11月晚些时候作为公共预览发布，但在此之前，您需要在私有预览中注册，以便在UI中看到“测试运行和度量”。您可以给我发一封电子邮件到cesardl在微软网站上，并给我您的AZURE订阅ID是启用的，所以你看到它在用户界面。

您可以在这里看到关于如何开始的更多信息：https://github.com/Azure/automl-testdataset-preview

关于如何使用它，您需要提供test_Data (特定的Test表格数据集，例如您以前从手动拆分的文件os加载的数据集)，或者您可以提供一个test_size，它是要从单个/原始数据集中拆分的%(即0.2是20%)。

关于测试指标，因为您可以对单个模型进行多个测试运行，所以需要转到“测试结果”链接下的特定测试运行。

在这里输入图像描述

Answer 2

看起来，您还需要根据test_size的AutoMLConfig文档指定test_data参数

如果未指定此参数或test_size参数，则在完成模型培训后将不会自动执行测试运行。测试数据应该同时包含特性和标签列。如果指定了test_data，则必须指定label_column_name参数。

至于如何提取所述的度量和预测，我认为它们将与AutoMLRun本身相关联(而不是一个子运行)。