通过Mobius在Spark上进行机器学习

Question

Mobius是apache spark的c#绑定。我想知道是否也可以通过C#使用MLlib和graphx。同样，可以通过C#为apache spark创建机器学习和图形处理作业。

Answer 1

如果你的spark驱动是在Linux平台上工作的，我建议你最好使用LIVY。事实上，LIVY是Apache REST API，它集合了所有Spark api (Pyspark、scala、java ..)提供的所有功能。您可以使用LIVY在使用pyspark代码片段的spark上提交作业。对于你来说，这似乎是一个很好的解决方案，至少你不需要每次都问在mobius上运行的是不是。