Flink作业-连续运行与取消/启动

Question

在需要时暂停或重新启动Flink作业的计算资源与持续运行Flink作业相比有什么好处？这是用于用例，新文件每天到达并在一小时内被摄入。这些工作现在一直在运行。但是想知道关于这种用例的任何最佳实践，这样就可以在向云迁移时对计算进行优化。

Answer 1

如果您要在云中运行，那么按需要(每天一次)旋转一个Flink集群，对一天的输入文件进行批量处理显然会节省您的钱，而且(很可能)比运行真正的流作业更容易操作。

Answer 2

--这是用于新文件每天到达并在一小时内被摄入的用例。

在这种情况下，批处理执行模式优于流执行模式。

流执行模式对场景最有效，比如实时计算、监视、实时推荐等等。批量执行模式对场景最有效，比如每天或一次处理数据。

此外，Flink还根据输入流有界的条件对批处理执行模式进行了多次优化。

要启用批处理执行模式，您可以在正式文档：https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/datastream/execution_mode/中查看更多详细信息