计算spark scala中的峰度array[Double]场

Question

如何计算spark中阵列场的峰度

spark内置函数使数组字段失败。

due to data type mismatch: argument 1 requires double type, however, 'SERIES' is of array<double> type.;;

python中的示例

 from scipy.stats import kurtosis
 kurtosis([1, 2, 3, 4, 5])
-1.3

我使用了spark内置函数

df.withColumn("newcolumn",when(col("SERIES").isNotNull,kurtosis(columnName))

Answer 1

使用Twitter Algebra软件包，我可以得到峰度值。

import com.twitter.algebird._
val y  = List(1, 2, 3, 4, 5)
def getMoments(xs: List[Int]): Moments =
xs.foldLeft(MomentsGroup.zero) { (m, x) =>
  MomentsGroup.plus(m, Moments(x))
}

println(getMoments(y).kurtosis) // -1.3