如何配置SBT为依赖项和应用程序代码生成单独的jars？

Question

我正在使用SBT作为spark项目的构建工具。我可以使用sbt-assembly插件创建我的依赖项的一个胖jar。

但是，这会产生大约120M的jar，其中大部分依赖项需要不断上传到S3以运行我的代码--这需要3-5分钟的时间。时间不多，但相当烦人。

如果让SBT生成一个包含依赖项(很少更改)的jar，以及我的应用程序代码的一个小jar，我应该可以在几秒钟内上传。

这个是可能的吗？我是SBT的新手。

Answer 1

sbt-assembly支持开箱即用的splitting project application jar from dependency jar。要只生成依赖jar，请执行以下命令

sbt assemblyPackageDependency

要仅用您的项目应用程序代码生成jar，请按如下方式定义assemblyOption

assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false, includeDependency = false)

像往常一样执行sbt assembly。