连接器依赖项应该在默认范围内。
这就是flink-快速启动-scala的建议:
<!-- Add connector dependencies here. They must be in the default scope (compile). -->
<!-- Example:
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
<version>${flink.version}</version>
</dependency>
-->它还与Flink项目配置保持一致。
我们建议将应用程序代码及其所有必需的依赖项打包到一个jar与依赖项中,我们称之为应用程序jar。应用程序jar可以提交给已经运行的Flink集群,也可以添加到Flink应用程序容器映像中。 重要:要使Maven (和其他构建工具)正确地将依赖项打包到应用程序jar中,必须在作用域编译中指定这些应用程序依赖项(与必须在提供的作用域中指定的核心依赖项不同)。
单元连接器依赖项应该在提供的作用域内。
然而,Flink蜂巢集成文档提出了相反的建议:
如果您正在构建自己的程序,则需要在mvn文件中提供以下依赖项。建议不要将这些依赖项包含在结果的jar文件中。如上面所述,您应该在运行时添加依赖项。
为什么?
发布于 2021-04-08 16:42:14
造成这种差异的原因是,对于Hive,建议使用相应的Hive依赖项启动集群。文档声明最好在启动集群之前将依赖项放到lib目录中。这样,集群就可以运行使用Hive的作业。同时,您不必将此依赖绑定到用户jar中,从而减少其大小。但是,如果您愿意,不应该有任何东西阻止您将Hive依赖关系与您的用户代码捆绑在一起。
https://stackoverflow.com/questions/67001326
复制相似问题