首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >为什么Flink快速启动scala建议在默认范围中添加连接器依赖项,而Flink Hive集成文档则相反。

为什么Flink快速启动scala建议在默认范围中添加连接器依赖项,而Flink Hive集成文档则相反。
EN

Stack Overflow用户
提问于 2021-04-08 09:39:29
回答 1查看 81关注 0票数 0

连接器依赖项应该在默认范围内。

这就是flink-快速启动-scala的建议:

代码语言:javascript
复制
        <!-- Add connector dependencies here. They must be in the default scope (compile). -->

        <!-- Example:
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        -->

它还与Flink项目配置保持一致。

我们建议将应用程序代码及其所有必需的依赖项打包到一个jar与依赖项中,我们称之为应用程序jar。应用程序jar可以提交给已经运行的Flink集群,也可以添加到Flink应用程序容器映像中。 重要:要使Maven (和其他构建工具)正确地将依赖项打包到应用程序jar中,必须在作用域编译中指定这些应用程序依赖项(与必须在提供的作用域中指定的核心依赖项不同)。

单元连接器依赖项应该在提供的作用域内。

然而,Flink蜂巢集成文档提出了相反的建议:

如果您正在构建自己的程序,则需要在mvn文件中提供以下依赖项。建议不要将这些依赖项包含在结果的jar文件中。如上面所述,您应该在运行时添加依赖项。

为什么?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-04-08 16:42:14

造成这种差异的原因是,对于Hive,建议使用相应的Hive依赖项启动集群。文档声明最好在启动集群之前将依赖项放到lib目录中。这样,集群就可以运行使用Hive的作业。同时,您不必将此依赖绑定到用户jar中,从而减少其大小。但是,如果您愿意,不应该有任何东西阻止您将Hive依赖关系与您的用户代码捆绑在一起。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67001326

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档