Google Cloud Platform - Vertex AI -有没有一种方法来查看一段时间内的训练性能图表？

Question

我想知道在整个培训过程中，培训效果是如何变化的。有没有办法通过Vertex AI automl服务访问它？

Answer 1

不幸的是，在整个训练过程中不可能看到训练效果。顶点AI Auto ML仅显示训练作业是否正在运行。

唯一可用的信息是“训练后模型在测试集上的表现如何”。这可以在AutoML的“评估”选项卡中看到。你可以参考Vertex AI Auto ML Evaluation获取更多的资料。

AutoML提供了evaluation metrics，可以帮助您确定模型的性能。一些评估指标包括精确度、召回率和置信度阈值。根据您使用的AutoML产品的不同，这些值也会有所不同。

例如，如果您有一个图像分类模型，则以下是可用的评估指标：

平均精确度(

• AuPRC)：精确度-召回率(PR)曲线下的面积，也称为平均精确度。该值的范围从0到1，值越高表示模型的质量越高。
• 日志损失:模型预测和目标值之间的交叉熵。它的范围从0到无穷大，其中较低的值表示较高质量的model.
• Confidence阈值:确定返回哪些预测的置信度分数。模型返回达到该值或更高值的预测。较高的置信度阈值可以提高准确率，但会降低召回率。顶点AI返回不同阈值下的置信度指标，以显示阈值如何影响精度，并recall.
• Recall:模型正确预测的此类预测的分数。也称为真正确率。精度:由模型产生的分类预测的分数，即correct.
• Confusion矩阵:混淆矩阵显示模型正确预测结果的频率。对于预测错误的结果，矩阵将显示模型预测的结果。混淆矩阵可帮助您了解模型将两个结果“混淆”的位置。