Apache Flink生产集群详细信息

Question

我是Flink的新手。如何了解flink的生产群集要求。以及如何在纱线集群模式下确定每个作业执行的作业内存、任务内存和任务槽。对于ex-我每天必须使用数据流处理大约6-7亿条记录，因为它是实时数据。

Answer 1

对于这些问题，没有万能的答案；这取决于情况。这取决于你对这些事件的处理类型，你是否需要访问外部资源/服务来处理它们，你需要保留多少状态以及该状态的访问和更新模式，你将检查点的频率，你选择的状态后端，等等。

有关此主题的深入介绍，请参阅How To Size Your Apache Flink® Cluster: A Back-of-the-Envelope Calculation。https://www.youtube.com/watch?v=8l8dCKMMWkw也很有帮助。