在Spark中可以使用UDTF吗？

Question

我在dataframe中使用了UDF函数。喜欢

def manhattanUDF(firstPoint:linalg.Vector) = udf((features: linalg.Vector) => {
    firstPoint.toArray.zip(features.toArray).foldLeft(0.0) { case (sum, (v1, v2)) => {
       sum + Math.abs(v1 - v2)
    }}
  })

我不知道如何在spark中使用UDTF？请给我举个例子。

Answer 1

explode和posexplode函数是UDTF函数，DataFrame接口支持这些函数。但是在Spark中没有UDTF的自定义实现。