使用sparkR列

Question

SparkR列提供了一长串有用方法的列表，例如'isNull‘，但是在sparkR中，我在使用它们时遇到了问题。我在R中像这样运行sparkR

cd /home/ole/R/spark 1.4.0 ./bin/sparkR包com.databricks:sparkR_2.10:1.0.3 sqlContext

例如，当我键入这个u=c() isNull(u)时，我在(function (classes，fdef，mtable) )中得到这个消息错误:无法为函数‘isNull’找到用于签名‘NULL’的继承方法。

Answer 1

这是因为isNull需要DataFrame的一列，而不是向量。它检查条目是否为NULL，它的工作方式如下：

a   <- createDataFrame(sqlContext,data.frame(b=c("a","b",NA,"c"),c=c(1,2,3,4)))
a$d <- isNull(a$b)
collect(a)

它还返回一个(逻辑)列，这就是我将其附加到DataFrame的原因。但是，您会注意到SparkR并没有将NA存储为NULL，所以所有的逻辑都是假的，但是您已经看到了该函数是如何工作的。