Airflow环境变量与secret环境变量的区别

Question

气流环境变量(例如，AIRFLOW__CORE__SQL_ALCHEMY_CONN)和一个秘密环境变量(AIRFLOW__CORE__SQL_ALCHEMY_CONN_SECRET)？

Answer 1

AIRFLOW__CORE__SQL_ALCHEMY_CONN您正在直接提供连接信息。

AIRFLOW__CORE__SQL_ALCHEMY_CONN_SECRET此选项允许您提供包含您的连接信息的机密名称。

这将从秘密后端检索配置选项，例如Hashicorp Vault。有关更多详细信息，请参阅Secrets Backends。

https://airflow.readthedocs.io/en/stable/howto/set-config.html

Answer 2

您可以使用通过环境变量(AIRFLOW__CORE__SQL_ALCHEMY_CONN_CMD)传递的运行命令或使用Airflow Secrets (例如AIRFLOW__CORE__SQL_ALCHEMY_CONN_SECRET)来设置包含敏感数据的气流配置。

例如，如果您使用Hashicorp Vault作为Airflow Secert的后端(docs)：

您可以在Vault中添加secret值，如下所示：

❯ vault kv put secret/config/sql_alchemy_conn value=sqlite:////Users/airflow/airflow/airflow.db
Key              Value
---              -----
created_time     2020-11-20T20:05:21.517705Z
deletion_time    n/a
destroyed        false
version          1

并设置以下环境变量：

❯ env | grep AIRFLOW
AIRFLOW__CORE__SQL_ALCHEMY_CONN_SECRET=sql_alchemy_conn
AIRFLOW__SECRETS__BACKEND=airflow.contrib.secrets.hashicorp_vault.VaultBackend
AIRFLOW__SECRETS__BACKEND_KWARGS='{"url":"http://127.0.0.1:8200","auth_type":"token", "token": "s.OddaHiiDdddpW6gNnqtd2lJ"}'

这样你就不需要在airflow.cfg文件中暴露你的秘密了。