如何配置Apache集群( Flink - data . How )以实现实时数据流

Question

请帮帮我，我有一个集群Apache (2个作业经理，3个任务管理器)，但我不知道在Flink -conf.yml. for中为该参数设置哪些值：

jobmanager.heap.size taskmanager.heap.size taskmanager.numberOfTaskSlots parallelism.default

作业管理器机器有:8 8CPU，32 Job

任务管理器机器有:8 8CPU，32 RAM

我计划在这个集群15..20 Apache乔布斯上运行。由于私有策略，我无法在这里编写java代码，因此我将尝试用语言表达。

• 1)我从Apache№1读取数据(这是JSON消息)
• 2) POJO中字节的反序列化数组
• 3)使用FilterFunction检查POJO事件中的一些字段
• (4)通过id域使用KeyBy算子。
• 5)使用带有状态的KeyedProcessFunction (valueState或mapState)和计时器(我使用的是HDFS RocksDB状态后端)
• 6)将POJO序列化为字节数组并发送给Apache№2

预计每天将有5 000多万次活动。所有的乔布斯都有一个数据源。

Answer 1

为了拥有成纱、梅索斯或库伯内斯，我会考虑使用资源管理器来实现高可用性。简而言之，这是他们为你做了什么

在部署Flink应用程序时，Flink根据应用程序配置的并行性自动标识所需的资源，并向资源管理器请求它们。如果发生故障，Flink将通过请求新资源来替换失败的容器。提交或控制应用程序的所有通信都是通过REST调用进行的。这简化了Flink在许多环境中的集成。

换句话说，它们可以根据需要将集群中的资源提供给链接引擎。而且，在配置所要寻找的参数时，您会遇到较少的麻烦。