我有一个数据帧,在5列中有大约120万个观察值,下面是一个示例:
plate_x plate_z release_speed release_spin_rate Whiff
1 0.16 3.92 91.7 2195 0
2 0.21 3.37 91.2 2161 0
3 -1.25 3.26 94.0 2233 0
4 -0.86 2.17 94.2 2220 0
5 -0.07 1.89 93.4 2217 0
6 -0.47 3.42 91.3 2215 0
7 0.50 4.25 92.5 2276 0
8 -0.65 3.01 91.3 2256 0
9 -0.27 3.26 91.5 2179 0
10 0.63 3.89 92.2 2175 0
11 0.35 2.90 95.3 2412 0
12 -0.60 3.84 85.8 2097 0
13 -0.68 2.18 95.7 2493 0
14 -0.24 3.79 94.4 2058 1
15 0.26 4.50 95.6 2533 0
16 -0.62 2.68 95.1 2006 0
17 0.60 3.34 94.2 2026 0
18 -0.69 1.83 95.0 2671 0
19 -0.84 1.81 94.0 2475 0
20 -1.23 3.91 86.9 2211 0当我运行LDA时,它需要大约5分钟,而购物车大约需要10-15分钟。使用80%训练/20%测试,使用以下代码:
validation_index <- createDataPartition(dataset$Whiff, p=0.80, list=FALSE)
validation <- dataset[-validation_index,]
dataset <- dataset[validation_index,]其中,嗅觉是一个因子(1,0),无论变量是否发生,以及其他四个变量,所有这些变量都试图预测嗅觉是否会发生。我使用下面的代码来运行模型:
control <- trainControl(method="repeatedcv", number = 10, repeats = 10)
metric <- "Accuracy"
set.seed(7)
fit.lda <- train(Whiff~., data=dataset, method="lda", metric=metric, trControl=control)
# CART
set.seed(7)
fit.cart <- train(Swing_Value~., data=dataset, method="rpart", metric=metric, trControl=control)
# kNN
set.seed(7)
fit.knn <- train(Swing_Value~., data=dataset, method="knn", metric=metric, trControl=control)
# c) advanced algorithms
# SVM
set.seed(7)
fit.svm <- train(Swing_Value~., data=dataset, method="svmRadial", metric=metric, trControl=control)
# Random Forest
set.seed(7)
fit.rf <- train(Swing_Value~., data=dataset, method="ranger", metric=metric, trControl=control)然而,后三种方法花费的时间太长,因为它实际上从未完成>= 5个小时。有没有办法加快这个过程。我是新手,所以我不确定这实际上是平均时间,还是我正在做的事情效率很低。
发布于 2021-05-21 06:07:55
你可以在caret包中并行处理,根据你有多少个内核,这可以大大提高速度。
例如,在开始训练之前,首先设置内核的数量。
注意:从R 4.1.0开始,|>是一个新的基础管道。如果您没有此版本,则只需嵌套makePSOCKcluster(detectCores())或使用magrittr中的%>%管道操作符。
library(doParallel)
cl <- parallel::detectCores() |>
parallel::makePSOCKcluster()
# this will use all cores, consider doing length(cl) - some number
doParallel::registerDoParallel(cl, cores = length(cl))您将在caret::trainControl的文档中看到参数allowParallel默认情况下为TRUE。
https://stackoverflow.com/questions/67628445
复制相似问题