SageMaker:如何手动运行模型质量监视器作业？

Question

随着时间的推移，我使用SageMaker SDK类ModelQualityMonitor配置模型评估。

监测时间表不支持每月或每周的时间段，在我的情况下，地面真相期超过一个月。

SageMaker实验室有一个手动运行数据质量监视器的例子，这个想法似乎为输入constraints和statistics提供了一个ProcessingInput，但不确定如何做到这一点。

是否可以手动运行SageMaker模型质量监视器作业？

Answer 1

模型监控目前是通过在带有数据捕获输入的计划中启动SageMaker处理作业来完成的。

在ModelQualityMonitor的情况下，启动两个处理作业，运行两个不同的容器。即sagemaker-model-monitor-groundtruth-merger和sagemaker-model-monitor-analyzer

目前不支持手动执行ModelQualityMonitor。尽管如此，与您共享的示例类似，该示例展示了如何手动触发DataQualityMonitor处理作业，您也可以对ModelQualityMonitor进行同样的操作。例如，您可以查看启动Processing并确保输入/输出是兼容的。有一个额外的复杂性的事实是，有一个sagemaker-model-monitor-groundtruth-merger处理作业，它合并数据捕获和地面真相数据。然后，sagemaker-model-monitor-analyzer容器使用这些合并的数据作为输入。

因此，数据捕获格式和文件夹结构、启动和结束时间环境变量等都需要兼容。

为了更多地了解ModelQualityMonitor是如何完成的，我建议运行这示例并研究启动的处理作业及其输入/输出。