Apache Livy与spark-jobserver的比较

Question

我知道Apache Livy是用于从任何地方与spark进行交互的rest接口。那么，使用Apache Livy而不是spark-jobserver有什么好处呢？使用Livy作为替代的spark-jobserver的缺点是什么？我在网上找不到太多关于这个的信息。你能帮我弄清楚这一点吗。

谢谢,

Answer 1

这里有几个与我的用例相关的主要区别。

Livy的优势：

• Livy不需要对您的代码进行任何更改，而SJS作业必须扩展特定的类。
• Livy允许提交代码片段和预编译的jars，而SJS只接受jars。除了REST Livy之外，
• 还有一个Java和Scala。一个Python API正在开发中，SJS有一个"python binding"

SJS的优势：

• SJS也可以管理jars。它允许您上传和存储Jars，然后使用单独的REST调用从这些jars部署作业。Livy需要部署作业时需要jar。
• SJS作业可以配置为HOCON格式，该格式可以作为REST调用的一部分提交。

此外，SJS有更好的文档，尽管在这两种情况下，它都不全面。当然，请记住，这两个项目都是v1之前的版本，所以事情可能很快就会发生变化。

在我的例子中，我们最终选择了SJS，因为我不需要提交代码片段，而Jar管理和HOCOCN配置很方便。然而，我正在考虑在不久的将来重新访问Livy，以进行更彻底的评估。

资料来源：

• https://livy.incubator.apache.org/
• https://github.com/spark-jobserver/spark-jobserver
• Livy演示：https://www.youtube.com/watch?v=C_3iEf_KNv8

Answer 2

截至2018年9月，Livy和(Ooyala) Spark Job-server之间唯一的主要区别是，尽管(当前版本的) Livy是基于Spark 2.2.0构建的，但运行Livy时使用的Spark版本不需要与用于构建Livy的版本相匹配。Livy internally handles the differences between different Spark versions.

这种行为与Spark作业服务器不同，Spark作业服务器使用的是Spark版本的tight coupling。