我们需要在Flink集群上运行10个作业,其中4个不是CPU限制的,所以对于它们,我们可以有2xcpu任务槽,然而,6个作业是CPU限制的,它们需要在每个任务管理器上使用大量的CPU,即vpcu/2个插槽。我的问题是,我如何告诉Flink使用x台机器(任务管理器)来完成这项工作,使用y台任务管理器来完成另一项任务。对于CPU密集型作业,我是否需要一个单独的群集,或者有什么方法可以在单个群集中实现这一点
发布于 2021-07-26 22:33:50
目前,您需要有一个单独的集群来完成此任务。Flink 1.14中的FLIP-169: DataStream API for Fine-Grained Resource Requirements可能会更好地支持这种用例。
https://stackoverflow.com/questions/68531175
复制相似问题