我正在创建一个火花作业,它要求使用用python编写的函数将列添加到dataframe中。其余的处理是使用Scala完成的。
我已经找到了如何从pyspark调用Java/Scala函数的示例:
我发现用另一种方式发送数据的唯一例子是使用pipe。
我是否可以将整个dataframe发送到python函数,让函数操作数据并添加其他列,然后将结果数据返回给调用的Scala函数?
如果这是不可能的,我目前的解决方案是运行一个pyspark进程,并调用多个Scala函数来操作dataframe,这并不理想。
发布于 2018-08-28 15:53:09
只需从Python注册一个UDF,然后从Scala评估一个针对DataFrame使用该函数的SQL语句--就像一种魅力,只是尝试了一下;) https://github.com/jupyter/docker-stacks/tree/master/all-spark-notebook是一种在Toree中运行笔记本的好方法,它将Scala和Python代码混合在一起,调用相同的Spark上下文。
发布于 2017-09-16 03:52:48
https://stackoverflow.com/questions/46244366
复制相似问题