运行KubernetesPodOperator

Question

我在Kubernetes上运行气流，并使用“Kubernetes运算符”。当我运行BashOperator或时，可以使用以下方法运行精细：

executor_config = {
    "KubernetesExecutor": {
    "image": "image_with_airflow_and_my_code:latest"        
    }
}

当我尝试使用KubernetesPodOperator运行run时，它会失败

例如：

k = KubernetesPodOperator(namespace='default',
    image="ubuntu:18.04",
    cmds=["bash", "-cx"],
    arguments=["echo", "10"],
    name="test",
    task_id="task",
    is_delete_operator_pod=False,
    dag=dag
)

我看到创建的坞映像不是我上面指定的映像(ubuntu:18.04)，而是来自配置(AIRFLOW__KUBERNETES__WORKER_CONTAINER_REPOSITORY)的默认映像

在调度器日志中看到的：

2019-10-06 12:59:56,279 {scheduler_job.py:921} INFO -1待执行的任务: 2019-10-06 12:59:56,325 {scheduler_job.py:953} INFO -计算在池(name=default_pool)中运行的任务，其中有128个打开的插槽和一个准备排队的任务实例209-10-06 12:59:56,326 {scheduler_job.py:981} INFO - DAG操作者有0/16在运行和排队的任务2019-10-06 12:59:56,361 {{scheduler_job.py:1031} INFO -将下列任务设置为排队状态: 2019-10-06 12:59:56,398 {scheduler_job.py:1107} INFO -将下列1项任务设置为排队状态: 2019-10-06 12:59:56,401 {scheduler_job.py:1143} INFO -发送(“koperator”，“任务”，datetime.datetime(2019，10，6，12，59，50,146375，tzinfo=)到优先级为1的执行器，默认队列为2019-10-06 12:59:56,403 {{base_executor.py:59}} INFO -添加到队列中：“气流”、“运行”、“koperator”、“任务”、“2019-10-06T12:59:50.146375+00”、“-本地”、“-池”、“默认池”、“-sd”，'/usr/local/airflow/dags/KubernetesPodOperator.py‘{kubernetes_executor.py:764} INFO -添加任务(“koperator”、“任务”、datetime.datetime(2019、10、6、12、59、50、146375、tzinfo=)，1)，命令“气流”、“运行”、“koperator”、“任务”、“2019-10-06T12:59:50.146375+00:00”、“-本地”、“-池”、“默认池”、“-sd”、'/usr/local/airflow/dags/KubernetesPodOperator.py‘executor_config {} 2019-10-06 12: 59 :56,417 {kubernetes_executor.py:441} INFO - Kubernetes作业是(“koperator”、“任务”、datetime.datetime(2019、10、6、12、59、50、146375、tzinfo=)、1)、“气流”、“run”、“koperator”、“任务”、“2019-10-06T12:59:50.146375+00:00”、“-局部”，“-池”、“默认池”、“-sd”、'/usr/local/airflow/dags/KubernetesPodOperator.py'，KubernetesExecutorConfig(image=None、image_pull_policy=None、request_memory=None、request_cpu=None、limit_memory=None、limit_cpu=None、limit_gpu=None、gcp_service_account_key=None、node_selectors=None、affinity=None、annotations={}、volumes=[]、volume_mounts=[]、tolerations=None，( koperatortask-2f35f3b347a149bcb2133ef58cf9e77d )2019年-10-06 12:59:56,498 {{kubernetes_executor.py:353}} INFO -事件: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d有一个类型添加了2019-10-06 12:59:56,509 {{kubernetes_executor.py:385}} INFO -事件: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d未决2019年-10-06 12:59:56,528 {{kubernetes_executor.py:353}}信息-事件:koperatortask-2f35f3b347a149bcb2133ef58cf9e77d有一个类型修改为2019-10-06 12:59:56,529 {{kubernetes_executor.py:353}}事件: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d未决2019年-10-06 12:59:56,543 {kubernetes_executor.py:353} INFO -事件: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d有一个类型为修改的事件2019年-10-06 12:59:56,544 {{kubernetes_executor.py:385} INFO -事件: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d未决2019年-10-06 12:59:59:59:59,492 {{kubernetes_executor.py:353}} INFO : koperatortask-2f35f3b347a149bcb2133ef58cf9e77d有一个类型被修改的事件209-10-事件: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d正在运行2019年-10-06 13:00:10,873 {{kubernetes_executor.py:353} INFO -事件: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d有一个类型修改的事件2019-10-06 13:00:10,874 {{kubernetes_executor.py:390}} INFO -事件: koperatortask-2f35f3b347a149bcb2133ef58cf9e77d成功2019年-10-06 13:00:12,236 {{kubernetes_executor.py:493}} INFO -试图完成吊舱；koperatortask-2f35f3b347a149bcb2133ef58cf9e77d；状态:无；标签：{‘气流-工人’：'b46fd37e-959c-4844-81e1-dff9df2e98e2'，'dag_id'：'koperator'，‘执行_日期’：'2019-10-06T12_59_50.146375_plus_00_00'，“任务_id”：‘任务’，'try_number'：'1'} 2019-10-06 13:00:00:12,245 {{kubernetes_executor.py:616}} INFO信息-检查一个任务实例。2019-10-06 13:00: 12,247 {{kubernetes_executor.py:626} INFO -查找匹配任务koperator-任务(2019-10-06 12:59:50.146375+00:00)，当前状态为up_for_retry 2019-10-06 13:00:12,253 {kubernetes_executor.py:783} INFO -更改状态为((“koperator”，“任务”，datetime.datetime(2019，10，6，12，59，50,146375，tzinfo=tzlocal())，1)，无，无( '34894988') 2019年至10-06 13:00:12,273 {scheduler_job.py:1283} INFO - Executor报告执行koperator.task _date= 2019-10-06 12:59:50.146375+00:00，状态为None

凸起吊舱的日志：

使用执行器{{init.py:51}} 2019-10-06 12:02:12:12:12:12:12:12:12 844{dagbag.py:90} INFO -从/usr/local/airflow/dags/KubernetesPodOperator.py 2019-10-06 12:02:13 571{cli.py:516} INFO -运行在主机koperatortask-bd0c81d6039c4b329ae8dd2292c0c566上

我做错什么了？

如何使用KubernetesPodOperator在kubernetes上运行dag？

谢谢你，阿维德

Answer 1

不幸的是，我没有看到足够的信息来确定什么是错误的。添加参数。

"get_logs"：真的

给KubernetesPodOperator。

这样，运行将将来自KubernetesExecutor和KubernetesPodOperator荚的stdouts合并到一个气流任务日志中。

它应该能让你更清楚地了解正在发生的事情。