else if循环在R中运行非常慢

Question

我正在进行一个研究项目，研究使某人更有可能投票的因素，重点是人们住的地方离投票站的距离。I数百万人的完整选民登记和选民历史。有几种方式可以投票(亲自投票、缺席投票、提前投票或临时投票)或不投票(未注册、已注册但未投票或没有资格投票)。我的数据附带了一列(29)，说明某人在给定的选举中如何投票。NULL表示未注册，V表示亲自注册，依此类推

对于回归分析，我想为每种投票者类型创建一个不同的列(1表示是，0表示否，列号68-74)，另一个1/0列(编号75)表示是否有人投票。我在下面写的代码应该可以做到这一点，但它在我的计算机上运行得非常慢，一个小时后甚至还不能到达第1000行。它工作得很好，除了速度。我已经被批准使用我的大学的超级计算机，但我想找出一个更快的算法。我的笔记本电脑和超级计算机上都有R和STATA，我很乐意使用它们中的任何一个。

dcv.new <- read.csv("VoterHist.csv", header=TRUE)
# I previously set columns 68-75 to default to 0
for(i in 1:nrow(dcv.new))
{
  if(is.na(dcv.new[i,29]))
  {
    dcv.new[i,69] <- 1
  }
  else if(dcv.new[i,29]=="V")
  {
    dcv.new[i,68] <- 1
    dcv.new[i,75] <- 1
  }
  else if(dcv.new[i,29]=="A")
  {
    dcv.new[i,70] <- 1
    dcv.new[i,75] <- 1
  }
  else if(dcv.new[i,29]=="N")
  {
    dcv.new[i,71] <- 1
  }
  else if(dcv.new[i,29]=="E")
  {
    dcv.new[i,72] <- 1
  }
  else if(dcv.new[i,29]=="Y")
  {
    dcv.new[i,73] <- 1
  }
  else if(dcv.new[i,29]=="P")
  {
    dcv.new[i,74] <- 1
    dcv.new[i,75] <- 1
  }
  else if(dcv.new[i,29]=="X")
  {
    dcv.new[i,74] <- 1
    dcv.new[i,75] <- 1
  }
}

*从技术上讲是“高性能计算集群”，但老实说，超级计算机听起来更酷。

Answer 1

R大体上是矢量化的，所以寻找矢量化操作来代替循环。在这种情况下，您可以向量化每个操作，以便它在整个矩阵上工作，而不是在单个行上工作。

下面是您的前三条if else语句：

dcv.new[is.na(dcv.new[,29]), 69] <- 1
dcv.new[dcv.new[,29]=="V", c(68,75)] <- 1
dcv.new[dcv.new[,29]=="A", c(70,75)] <- 1
....

你应该明白这一点。

一些解释：

我们所做的是从dcv.new的某些列中选择符合条件的行(比如== "V")，然后在一次操作中将值1赋给dcv.new的每个选定元素。R回收我们分配的1，使其长度与填充所有选定元素所需的长度相同。

注意我们如何一次选择多个列进行更新：dcv.new[x , c(68,75)]仅更新行x的列68和75，其中x是一个逻辑向量，索引我们需要更新的行。逻辑向量由诸如dcv.new[,29]=="V"之类的语句生成。如果dcv.new[,29]的元素等于"V"，则返回TRUE；如果不等于，则返回FALSE。

但是...！

在回归的情况下，我们可以让R为我们制作虚拟变量矩阵，我们不需要手动完成。假设列dcv.new[, 29]被命名为voterType。如果我们强迫它成为一个因素

dcv.new <- transform(dcv.new, voterType = factor(voterType))

当我们使用公式符号来拟合模型时，我们可以这样做：

mod <- lm(response ~ voterType, data = dcv.new)

R将创建适当的对比度，使voterType使用正确的自由度。默认情况下，R使用因子的第一级作为基准级，因此模型系数表示与该参考级的偏差。要在将voterType转换为因子后查看它的参考水平，请执行以下操作

with(dcv.new, levels(voterType)[1])

请注意，大多数采用公式的建模函数，如上图所示，其工作方式与我所描述的相同，如下所示。您不仅限于使用 lm() 模型。

下面是一个小例子

set.seed(42)
dcv.new <- data.frame(response = rnorm(20),
                      voterType = sample(c("V","A","N","E","Y","P","X",NA), 20, 
                                         replace = TRUE))
head(dcv.new)

> head(dcv.new)
    response voterType
1  1.3709584         E
2 -0.5646982         E
3  0.3631284         V
4  0.6328626      <NA>
5  0.4042683         E
6 -0.1061245      <NA>

然后可以将该模型拟合为

mod <- lm(response ~ voterType, data = dcv.new)
summary(mod)

在这种情况下给予

> mod <- lm(response ~ voterType, data = dcv.new)
> summary(mod)

Call:
lm(formula = response ~ voterType, data = dcv.new)

Residuals:
    Min      1Q  Median      3Q     Max 
-2.8241 -0.4075  0.0000  0.5856  1.9030 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   -2.656      1.425  -1.864   0.0952 .
voterTypeE     2.612      1.593   1.639   0.1356  
voterTypeN     3.040      1.646   1.847   0.0978 .
voterTypeP     2.742      1.646   1.666   0.1300  
voterTypeV     2.771      1.745   1.588   0.1468  
voterTypeX     2.378      2.015   1.180   0.2684  
voterTypeY     3.285      1.745   1.882   0.0925 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 1.425 on 9 degrees of freedom
  (4 observations deleted due to missingness)
Multiple R-squared: 0.3154, Adjusted R-squared: -0.1411 
F-statistic: 0.6909 on 6 and 9 DF,  p-value: 0.6635 

所有的神奇之处都发生在公式代码中，但实际上幕后发生的事情是，一旦R定位了公式中指定的所有变量，它实际上就会调用类似于

model.matrix( ~ voterType, data = dcv.new)

它生成基础矩阵代数和QR分解所需的协变量矩阵。上面的代码，对于这个小例子，给出了：

> model.matrix(~ voterType, data = dcv.new)
   (Intercept) voterTypeE voterTypeN voterTypeP voterTypeV voterTypeX
1            1          1          0          0          0          0
2            1          1          0          0          0          0
3            1          0          0          0          1          0
5            1          1          0          0          0          0
8            1          0          0          1          0          0
10           1          0          0          0          0          0
11           1          0          1          0          0          0
12           1          0          1          0          0          0
13           1          1          0          0          0          0
14           1          0          0          0          0          1
15           1          0          0          0          1          0
16           1          0          0          1          0          0
17           1          0          0          1          0          0
18           1          0          0          0          0          0
19           1          0          1          0          0          0
20           1          0          0          0          0          0
   voterTypeY
1           0
2           0
3           0
5           0
8           0
10          1
11          0
12          0
13          0
14          0
15          0
16          0
17          0
18          0
19          0
20          1
attr(,"assign")
[1] 0 1 1 1 1 1 1
attr(,"contrasts")
attr(,"contrasts")$voterType
[1] "contr.treatment"

这就是你想要对你的代码做的。所以如果你真的需要它，你可以像我展示的那样使用model.matrix()来生成矩阵-在你不需要的时候去掉属性。

在本例中，参考标高为"A"

> with(dcv.new, levels(voterType)[1])
[1] "A"

它由model.matrix输出中的(Intercept)列表示。请注意，这些处理对比了代码与参考水平的偏差。您可以通过添加-1 (0r +0)在公式中取消截取来获得虚拟值：

> model.matrix(~ voterType - 1, data = dcv.new)
   voterTypeA voterTypeE voterTypeN voterTypeP voterTypeV voterTypeX voterTypeY
1           0          1          0          0          0          0          0
2           0          1          0          0          0          0          0
3           0          0          0          0          1          0          0
5           0          1          0          0          0          0          0
8           0          0          0          1          0          0          0
10          0          0          0          0          0          0          1
11          0          0          1          0          0          0          0
12          0          0          1          0          0          0          0
13          0          1          0          0          0          0          0
14          0          0          0          0          0          1          0
15          0          0          0          0          1          0          0
16          0          0          0          1          0          0          0
17          0          0          0          1          0          0          0
18          1          0          0          0          0          0          0
19          0          0          1          0          0          0          0
20          0          0          0          0          0          0          1
attr(,"assign")
[1] 1 1 1 1 1 1 1
attr(,"contrasts")
attr(,"contrasts")$voterType
[1] "contr.treatment"

Answer 2

你应该向量化你的代码。忘记那么多的如果

dcv.new[is.na(dcv.new[,29]),69] <- 1
dcv.new[dcv.new[,29] == "V", c(68, 75)] <- 1

....enter code here

根据需要继续