如何在BinaryClassificationMetrics中绘制ROC曲线和查准率曲线

Question

我试着在图中绘制ROC曲线和精确召回曲线。这些点是从Spark Mllib BinaryClassificationMetrics生成的。通过遵循下面的Spark https://spark.apache.org/docs/latest/mllib-evaluation-metrics.html

[(1.0,1.0), (0.0,0.4444444444444444)] Precision
[(1.0,1.0), (0.0,1.0)] Recall
[(1.0,1.0), (0.0,0.6153846153846153)] - F1Measure    
[(0.0,1.0), (1.0,1.0), (1.0,0.4444444444444444)]- Precision-Recall curve
[(0.0,0.0), (0.0,1.0), (1.0,1.0), (1.0,1.0)] - ROC curve

Answer 1

看起来你遇到了和我一样的问题。您需要将参数翻转到Metrics构造函数，或者可能传入概率而不是预测。因此，例如，如果你使用BinaryClassificationMetrics和RandomForestClassifier，那么根据this page (在输出下)，有“预测”和“概率”。

然后初始化您的指标，如下所示：

    new BinaryClassificationMetrics(predictionsWithResponse
      .select(col("probability"),col("myLabel"))
      .rdd.map(r=>(r.getAs[DenseVector](0)(1),r.getDouble(1))))

其中DenseVector调用用于提取1类的概率。

至于实际的绘图，这取决于你(有很多很好的工具)，但至少你会在曲线上得到1个以上的点(除了端点)。

如果不清楚的话：

metrics.roc().collect()将为您提供ROC曲线的数据:元组：(假阳性率，真阳性率)。