ML管道和指标:精确度、召回率、AUC-ROC、F1Score

Question

我正在使用ML Pipeline，类似于：

VectorAssembler assembler = new VectorAssembler()
                .setInputCols(columns)
                .setOutputCol("features");
LogisticRegression lr = new LogisticRegression().setLabelCol(targetColumn);
        lr.setMaxIter(10).setRegParam(0.01).setFeaturesCol("features");

Pipeline logisticRegression = new Pipeline();
logisticRegression.setStages(new PipelineStage[] {assembler, lr});
PipelineModel logisticRegressionModel = logisticRegression.fit(learningData);

我想要的是在这个模型上获得像Precision, Recall, AUC-ROC, F1-SCORE, ACCURACY这样的标准度量的方法。我已经找到了BinaryClassificationMetrics --但我不确定它是否兼容。RegressionEvaluator似乎只返回mse|rmse|r2|mae。

那么用ML Pipeline提取精确度、召回等的正确方法是什么呢？

Answer 1

Ryan在上面的回答中遗漏了几件事。

我可以确认以下工作(注意:我的用例是多类分类)

val scoredTestSet = model.transform(testSet)
val predictionLabelsRDD = scoredTestSet.select("prediction", "label").rdd.map(r => (r.getDouble(0), r.getDouble(1)))
val multiModelMetrics = new MulticlassMetrics(predictionAndLabelsRDD)

Answer 2

获得评分数据后，获取预测和标签并将其传递给BinaryClassificationMetrics

如下所示(虽然它是在scala中的，但我希望它能有所帮助)

val scoredTestSet = logisticRegressionModel.transform(testSet)
val predictionLabelsRDD = scoredTestSet.select("prediction", "label").map(r => (r.getDouble(0), r.getDouble(1)))
val binMetrics = new BinaryClassificationMetrics(predictionAndLabels)
// binMetrics.areaUnderROC

来自https://spark.apache.org/docs/latest/mllib-evaluation-metrics.html#binary-classification的其他示例

在这种情况下，预测值为1.0或0.0。您还可以提取概率，并使用该概率代替预测值，这样binMetrics就可以显示多个阈值的数据