SageMaker超调的目标度量

Question

我用SageMaker的AWS内建算法训练了二元分类模型，并希望利用模糊矩阵对模型进行评价。然而，我看到SageMaker的培训和HyperTuner工作只是接受准确性度量。

1. 是否有一种在SageMaker中为内置图像分类算法添加自定义度量的方法?据我所知，
2. 对于二进制分类器来说是很好的度量标准，为什么在AWS内置的图像分类算法中缺少这些度量？
3. 是否有一种方法可以对我的测试数据进行批量转换，并获得这些度量来评估模型的准确性？

是否适合于评估？

Answer 1

1. SageMaker内建演算法不能接受自订量度，它们只适用于内建指标

。

1. 混淆矩阵不是度量，而是可视化。还要注意的是，图像分类器不是二进制分类器，它是一个具有大量标签的通用分类器。关于其他指标，我不能代表AWS团队发言:)

1. 是的，使用批处理转换或实时端点来创建预测用于您自己的自定义分析是个好主意。例如，在这篇博文中，创建了一个短暂的端点，为内置的线性分类器https://aws.amazon.com/blogs/machine-learning/build-multiclass-classifiers-with-amazon-sagemaker-linear-learner/

生成预测和混淆矩阵。