我有一个列类型为Array[ArrayInt]的dataframe,我正在尝试使用微风api将数组值相加,但是我得到了一个类型不受支持错误的模式。
输入数据集
+-----+---------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|name |combined |
+-----+---------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|Bob |[[0, 0, 0], [0, 0, 0], [0, 0, 0], [0, 1, 0], [0, 1, 0], [1, 0, 0], [0, 1, 0], [0, 1, 0], [0, 0, 1], [0, 0, 0], [0, 1, 0], [1, 0, 0], [1, 0, 0], [0, 1, 0], [0, 0, 1]]|实现
import breeze.linalg._
import breeze.numerics._
def mVect = udf((arr: Array[Array[Int]]) =>arr.map(breeze.linalg.Vector(_)).reduce(_ + _))
result.select($"name", mVect($"combined")).show错误
java.lang.UnsupportedOperationException:不支持类型breeze.linalg.VectorInt的架构
发布于 2018-07-24 08:07:44
好吧,它的发生是因为它确实不受支持。
有不同的可能的解决方案,但最简单的一个是完全跳过breeze:
def mVect = udf((arr: Array[Array[Int]]) => arr.transpose.map(_.sum))https://stackoverflow.com/questions/51488013
复制相似问题