email 发送邮件的 其他 MySqlOperator PostgresOperator MsSqlOperator OracleOperator JdbcOperator DockerOperator
任务执行器”而不是“调度编排器”我见过不少项目把Airflow当成“万能胶”:数据清洗写在PythonOperator数据加工写在BashOperator数据入仓也写在PythonOperator拖个DockerOperator
Operator类型选择PythonOperator:最常用,直接调用爬虫函数BashOperator:适合调用shell命令(如启动Scrapy)DockerOperator:当需要隔离环境时使用HttpOperator
Airflow 中一个使用了 DockerOperator 的简单工作流。本示例来自 Airflow 存储库。 如果你的工作流程中存在两个不同步骤有不同的要求,理论上,你可以使用 Airflow 提供的 DockerOperator 创建不同的容器,但这并不容易。
DockerOperator, HiveOperator,S3FileTransferOperator,PrestoToMysqlOperator, SlackOperator… 除了以上这些
DockerOperator, HiveOperator, S3FileTransferOperator, PrestoToMysqlOperator, SlackOperator… 除了以上这些 Operators
DockerOperator, HiveOperator, S3FileTransferOperator, PrestoToMysqlOperator, SlackOperator… 除了以上这些 Operators
DockerOperator, HiveOperator, S3FileTransferOperator, PrestoToMysqlOperator, SlackOperator… 除了以上这些 Operators
DockerOperator:在Docker容器中执行命令。 KubernetesPodOperator:在Kubernetes中执行Pod。