使用Apache Airflow在Kubernetes中创建展开

Question

我想创建一个部署kubernetes而不是pod。有没有办法在apache airflow中做到这一点？我知道KubernetesPodOperator，但我想要的是部署，而不是Pod。

阿帕奇气流中的KubernetesPodOperator

k = KubernetesPodOperator(namespace='default',
                          image="ubuntu:16.04",
                          cmds=["bash", "-cx"],
                          arguments=["echo", "10"],
                          labels={"foo": "bar"},
                          secrets=[secret_file,secret_env]
                          volume=[volume],
                          volume_mounts=[volume_mount]
                          name="test",
                          task_id="task",
                          affinity=affinity,
                          is_delete_operator_pod=True,
                          hostnetwork=False,
                          tolerations=tolerations
                          )

谢谢

Answer 1

我想创建一个部署kubernetes而不是pod。有没有办法在apache airflow中做到这一点？

不怎么有意思。Apache Airflow是一个运行DAG中定义的批处理任务的工具，它不适合在Kubernetes Deployment中运行工作负载的模式。部署是针对长期运行的服务类型的应用程序，这些应用程序不会终止，除非发生崩溃或显式终止/删除它(也称为无状态微服务)。

Kubernetes中更适合Apache Airflow功能的控制器是Job控制器，它在运行时也会创建一个Pod。但这正是Airflow提供更丰富功能集的地方，比如对DAGs的支持

总而言之，拥有使用Airflow创建部署的能力更好，但不一定适合工具的主要模式使用。我建议使用不同的工具/方法来创建部署。