如何说服Flink将.inprogress文件重命名为part-xxx

Question

我们有一个流工作流的单元测试(使用Flink 1.14.4)和有限制的源，编写Parquet文件。因为它是有界的，所以检查点会自动禁用(根据INFO msg Disabled Checkpointing. Checkpointing is not supported and not needed when executing jobs in BATCH mode.)，这意味着将ExecutionCheckpointingOptions.ENABLE_CHECKPOINTS_AFTER_TASKS_FINISH设置为true没有任何效果。

唯一的解决方案是在一个单独的线程中使用无限制的源运行线束，并在没有更多的数据写入输出时强制它终止？看起来很尴尬..。

Answer 1

对其他人来说，解决办法是：

1. 确保您使用的是FileSink，而不是旧的FileSink ExecutionCheckpointingOptions.ENABLE_CHECKPOINTS_AFTER_TASKS_FINISH。