向纱线集群提交作业的正确方法--哪个作业依赖外部jars？

Question

我正试图理解向纱线集群提交MR作业(这是基于Spark的Java)的正确方法。

考虑以下情况：

使用客户端机器开发代码(MR或Spark)作业，并表示代码使用第三方jar。现在，当开发人员不得不将作业提交到纱线集群时，提交到集群的作业的正确方式是什么，这样就没有找到类的运行时例外。既然作业是作为jar文件提交的，那么开发人员如何“放”第三方jar呢？

我很难理解这一点，有人能帮我理解这个吗？

Answer 1

您只需使用Gradle或Maven构建一个“胖jar”，它不仅包含编译过的代码，而且还包含所有传递的依赖项。

您可以使用Maven组装插件或任何像影子插件这样的Gradle插件。

这些输出是您应该提供给spark-submit的。