如何在K8s上自动缩放Flink状态函数

Question

我当前的Flink应用程序

• 基于Flink的状态函数3.1.1，它读取Kafka的消息，处理该消息，然后接收到Kafka的母题
• 应用程序已经部署在K8s上，下面是指南，并且运行良好：有状态函数部署
• 基于标准部署，我打开了kubernetes HA

我的目标

我想自动放大/缩小有状态函数。我还想知道如何创建更多的备用职务经理。

我对医管局的观察

我尝试将kubernetes.jobmanager.replicas设置在flink-config ConfigMap中：

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: flink-config
  labels:
    app: shadow-fn
data:
  flink-conf.yaml: |+
    kubernetes.jobmanager.replicas: 7
    high-availability: org.apache.flink.kubernetes.highavailability.KubernetesHaServicesFactory

我在K8s中没有看到备用的职务经理。

然后，我直接调整部署的副本：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: statefun-master
spec:
  replicas: 7

待命职务经理出现。我查了一下船舱日志，成功地完成了领导人选举。但是，当我在web浏览器中访问UI时，它会说：

{"errors":["Service temporarily unavailable due to an ongoing leader election. Please refresh."]}

我的方法怎么了？

我关于缩放的问题

无功模式正是我所需要的。我试过但失败了，作业管理器有错误消息：

Exception in thread "main" org.apache.flink.configuration.IllegalConfigurationException: Reactive mode is configured for an unsupported cluster type. At the moment, reactive mode is only supported by standalone application clusters (bin/standalone-job.sh).

看来，有状态函数自动缩放不应该这样做。那么，做自动缩放的正确方法是什么呢？

潜在方法(可能不正确)

经过一番研究，我目前的方向是：

1. 工作经理与自动缩放无关。这与K8s上的HA有关。我只需要确保Job有正确的故障转移行为
2. 我的有状态函数是Flink remote services，也就是说，它们是常规的k8s services。它们可以以KNative service的形式部署，以实现自动缩放。只有当http请求来自Flink的工作人员时，服务的副本才会上升
3. 最重要的部分，Flink的工作人员(或任务管理器)我还不知道如何进行自动缩放。也许我应该使用KNative来部署Flink工作人员？如果它不适用于KNative，也许我应该完全更改flink运行时部署。例如，尝试原始的反应演示。但是，我恐怕国家的职能并不是那样运作的。

最后

我已经一遍又一遍地阅读了Flink文档和Github示例，但是找不到更多的信息来完成这个任务。如有任何提示/指示/指南，敬请见谅！

Answer 1

由于反应性模式是一种新的实验特性，因此默认调度器所支持的所有功能也可与反应性模式(及其自适应调度器)一起使用。Flink社区正在努力解决这些限制。

缩放/