首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >了解ROCR在R中的性能()函数返回的内容

问了解ROCR在R中的性能()函数返回的内容
EN

Stack Overflow用户
提问于 2017-07-02 19:33:52
回答 1查看 2.5K关注 0票数 4

我很难理解ROCR包的performance()函数返回了什么。让我用一个可复制的例子来说明一下。我使用mpg数据集。我的代码如下:

代码语言:javascript
复制
library(ROCR)
library(ggplot2)
library(data.table)
library(caTools)
data(mpg)
setDT(mpg)
mpg[year == 1999, Year99 := 1]
mpg[year == 2008, Year99 := 0]
table(mpg$Year99)
# 0   1 
# 117 117 
split <- sample.split(mpg$Year99, SplitRatio = 0.75)
mpg_train <- mpg[split, ]
mpg_test <- mpg[!split, ]
model <- glm(Year99 ~ displ, mpg_train, family = "binomial")
summary(model)
predict_mpg_test <- predict(model, type = "response", newdata = mpg_test)
ROCR_mpg_test <- prediction(predict_mpg_test, mpg_test$Year99)
performance(ROCR_mpg_test, "acc")

#An object of class "performance"
#Slot "x.name":
#  [1] "Cutoff"

#Slot "y.name":
#  [1] "Accuracy"

#Slot "alpha.name":
#  [1] "none"

#Slot "x.values":
#  [[1]]
#49        55        56        45        47        53        51        57        46        13        39        37        58 
#Inf 0.5983963 0.5926422 0.5868625 0.5752326 0.5635187 0.5576343 0.5458183 0.5398901 0.5280013 0.5220441 0.5101127 0.4981697 0.4921981 
#17        44        31        32        33        50        34        40        24        21        12 
#0.4802634 0.4683511 0.4564748 0.4446478 0.4328831 0.4270282 0.4095919 0.3923800 0.3866994 0.3698468 0.3265163 


#Slot "y.values":
#  [[1]]
#[1] 0.5000000 0.5172414 0.5344828 0.5344828 0.5517241 0.5344828 0.4827586 0.5000000 0.5862069 0.6206897 0.6034483 0.6206897 0.5862069
#[14] 0.5689655 0.5517241 0.5689655 0.5517241 0.5344828 0.5517241 0.5172414 0.5344828 0.4655172 0.4827586 0.4827586 0.5000000


#Slot "alpha.values":
#  list()

我的问题是:

  1. 在插槽"x.values“下列出的4行数字是什么?
  2. 在插槽"y.values“下列出的2行数字是什么?
  3. 我是否有可能将一系列的断口传递给ROCR函数?截断= seq(0.05,0.95,0.05) --并向我返回定义的度量的值。精确性--对于每一个切断水平?

您的建议将不胜感激。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-07-03 00:40:54

(1)在x.values插槽中可以找到断口。

这个截断向量包含模型预测的概率的一组唯一值:

代码语言:javascript
复制
prf <- performance(ROCR_mpg_test, "acc")

cutoffs <- prf@x.values[[1]]
pred.probs <- sort(unique(predict_mpg_test), decreasing=T)
all(cutoffs[-1] == pred.probs)
# [1] TRUE

(2)在y.values插槽中,每个截止点都有精确性。

代码语言:javascript
复制
accuracies1 <- prf@y.values[[1]]

# Example. Calculate accuracy for the 3rd cutoff
( tbl <- table(predict_mpg_test>= cutoffs[3], mpg_test$Year99) )
#         0  1
#  FALSE 28 25
#  TRUE   1  4
sum(diag(tbl))/sum(tbl)
# [1] 0.5517241
accuracies1[3]
# [1] 0.5517241

# Calcuate the accuracies for each cutoff
calc_accur <- function(cutoff, pred_prob, response_var) {
  confusion_matrix <- table( pred_prob >= cutoff, response_var) 
  sum(diag(confusion_matrix))/sum(confusion_matrix)
}

accuracies2 <- sapply(cutoffs, calc_accur,  
       pred_prob=predict_mpg_test, response_var=mpg_test$Year99)

all(accuracies1==accuracies2)
# [1] TRUE

(3)利用(2)和calc_accur中给出的sapply函数,可以传递一组断口,并计算出相应的精度。

例如:

代码语言:javascript
复制
seq_cut <- seq(0.3, 0.6, length.out=10)
sapply(seq_cut, calc_accur,  
       pred_prob=predict_mpg_test, response_var=mpg_test$Year99)

# [1] 0.5000000 0.5000000 0.5000000 0.5172414 0.5517241 0.5862069 0.6551724 0.6379310
# [9] 0.5517241 0.5000000
票数 5
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44874491

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档