在zeppelin中将sql查询转换为spark lang

Question

我尝试将sql查询转换为spark lang。下面是sql查询：

%sql
select ${checkbox:fields=AGE|NAME|SEX} from table limit ${limit=10}

然后我转移spark lang：

%spark
var fields = z.select("fields", Seq(("AGE","AGE"),("NAME","NAME"),("SEX","SEX"))
val lim = z.input("limit","20")
df.selectExpr(fields).limit(lim).show()

但它不起作用。如何收集？

Answer 1

这里有几个您遗漏的东西。

在scala/中使用select时，在sql中使用

• 复选框。在复选框中，您可以选择多个值，而在选择中，您只能选择一个值。在接下来的回答中，我假设你想做多项选择。
• 在scala中试试这个：

 val f = z.checkbox("fields", options).to[collection.immutable.Seq]
 val lim = z.input("limit","20").asInstanceOf[String].toInt
 //Assuming df is already defined
 df.selectExpr(f.map(c => (c+"")): _*).limit(lim).show()
 df.select(f.map(c => col(c+"")): _*).limit(lim).show()

z.input返回一个对象。spark DF中的limit将Int作为输入，因此我们将其转换为Int。z.checkbox返回scala.collection.Iterable，而selectExpr/select需要不同类型的输入。