搜索 - 腾讯云开发者社区-腾讯云

文章/答案/技术大牛

发布

来自专栏速入大数据
Airflow 做 ETL，真不是“排个 DAG 就完事儿”：那些年我踩过的坑与悟出的道
catchup=False,#避免一次补几千天的“悲剧”default_args=default_args)asdag:start=EmptyOperator(task_id="start")extract=KubernetesPodOperator latest",cmds=["python","extract.py"],arguments=["--date","{{ds}}"],is_delete_operator_pod=True)transform=KubernetesPodOperator latest",cmds=["python","transform.py"],arguments=["--date","{{ds}}"],is_delete_operator_pod=True)load=KubernetesPodOperator is_delete_operator_pod=True)end=EmptyOperator(task_id="end")start>>extract>>transform>>load>>end你会发现几个核心点：用KubernetesPodOperator
41000编辑于 2025-12-12
来自专栏云云众生s
在Kubernetes上运行Airflow两年后的收获
对于需要更多资源的自定义作业，我们可以选择使用 KubernetesPodOperator 运行它们。
3.7K10编辑于 2024-03-28
来自专栏AI SPPECH
77_自动化脚本：Makefile与Airflow
KubernetesPodOperator：在Kubernetes中执行Pod。
33110编辑于 2025-11-16