用于交互式开发的SBT控制台与火花-Shell

Question

我想知道在使用SBT控制台和Spark交互地为Spark项目开发新代码(笔记本实际上不是w/服务器防火墙)之间是否有任何重要的区别。

• 两者都可以导入项目依赖项，但对我来说，SBT稍微方便一些。SBT会自动引入build.sbt中的所有依赖项，shell可以在命令行中使用--jar、--包和--存储库参数。
• SBT有方便的initialCommands设置，可以在启动时自动运行行。我用这个来初始化SparkContext。

还有其他人吗？

Answer 1

使用SBT，您不需要在理论上安装火花本身。

我用数据库。

Answer 2

根据我的经验，sbt调用外部jars必然会触发shell调用一系列导入和上下文。我更喜欢火花外壳，因为它遵循了在构建火花提交会话时需要遵循的标准。

为了在生产中运行代码，您需要将代码构建到jars中，并通过submit调用它们。要构建它，您需要通过sbt (编译检查)打包它，并运行火花提交提交调用(逻辑检查)。

您可以使用这两种工具进行开发，但是您应该编写代码，就像您不具备sbt (调用jars)和spark shell (调用导入和上下文)的优点一样，因为submit也做不到这一点。