我在Ubuntu版本18.04.3服务器上实现了Apache-Airflow。当我设置它时,我使用的是sql lite通用数据库,而它使用的是顺序执行器。我这样做只是为了玩玩和适应这个系统。现在我正在尝试使用Local Executor,并且需要将我的数据库从sqlite转换到推荐的postgres sql。
有谁知道如何实现这一转变吗?我发现的所有教程都需要从一开始就使用postgres sql设置Airflow。我知道有一大堆可移动的部件,我害怕把我目前正在运行的东西搞乱。任何人谁知道如何做到这一点,或可以告诉我在哪里寻找非常感谢。谢谢!
发布于 2020-02-20 01:57:38
只需要用一些命令来完成@lalligood的回答:
在airflow.cfg文件中查找sql_alchemy_conn,并将其更新为指向您PostgreSQL服务器:
sql_alchemy_conn = postgresql+psycopg2://user:pass@hostadress:port/database例如:
sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@localhost:5432/airflow如上行所示,您需要名为airflow的用户和数据库,因此您需要创建它。为此,打开psql命令行并键入以下命令,以创建名为airflow的用户和数据库,并将数据库airflow的所有权限授予用户airflow
CREATE USER airflow;
CREATE DATABASE airflow;
GRANT ALL PRIVILEGES ON DATABASE airflow TO airflow;现在,您可以使用postgres初始化airflow应用程序:
airflow initdb
如果一切正常,请再次访问psql命令行,使用\c airflow命令进入airflow数据库,然后键入\dt命令以列出该数据库的所有表。你应该会看到一个风流表的列表,目前是23。
发布于 2019-10-15 21:29:03
通过执行以下4个步骤,我能够让它工作起来:
airflow.cfg文件。airflow.cfg中的sql_alchemy_conn行以指向您的PostgreSQL服务器。airflow role +数据库。(撤消从public到airflow数据库的所有权限,确保airflow角色拥有airflow database!)airflow initdb),并确认您在airflow数据库中看到约19个表。发布于 2022-02-13 12:45:31
除了添加到airflow.cfg文件之外的另一种选择
是将ENV varibale AIRFLOW__CORE__SQL_ALCHEMY_CONN设置为您想要的postgresql服务器。
示例:export AIRFLOW__CORE__SQL_ALCHEMY_CONN_SECRET=sql_alchemy_conn
或者你可以在你的Dockerfile设置中设置它。
请参阅文档here
https://stackoverflow.com/questions/58380835
复制相似问题