首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何配置flink SQL客户端在启用检查点的情况下提交作业?

如何配置flink SQL客户端在启用检查点的情况下提交作业?
EN

Stack Overflow用户
提问于 2021-01-12 05:14:16
回答 2查看 635关注 0票数 0

启用检查点的flinksql客户端配置文件的示例是什么?

当我通过flink sql客户端提交流作业时,检查点未启用。

EN

回答 2

Stack Overflow用户

发布于 2021-01-12 18:20:27

检查点配置不能在flink sql客户端配置文件中设置,但可以在群集配置文件(flink-conf.yaml)中设置。

您至少应该配置execution.checkpointing.intervalstate.backendstate.checkpoints.dir

类似这样的内容,例如:

代码语言:javascript
复制
execution.checkpointing.interval: 10000
state.backend: filesystem
state.checkpoints.dir: file:///tmp/flink-checkpoints-directory
state.savepoints.dir: file:///tmp/flink-savepoints-directory

有关更多详细信息,请参阅checkpointingfault tolerancestate backends的配置文档。

票数 2
EN

Stack Overflow用户

发布于 2021-08-27 10:35:16

就我在文档中看到的,您应该能够在sql客户端通过如下设置属性来执行此操作:

代码语言:javascript
复制
SET 'state.checkpoints.dir' = 'hdfs:///bar/foo/';
SET 'execution.checkpointing.mode' = 'EXACTLY_ONCE';
SET 'execution.checkpointing.interval' = '30min';
SET 'execution.checkpointing.min-pause' = '20min';
SET 'execution.checkpointing.max-concurrent-checkpoints' = '1';
SET 'execution.checkpointing.prefer-checkpoint-for-recovery' = 'true';
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/65674619

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档