首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Apache Airflow中实现Postgres Sql

问在Apache Airflow中实现Postgres Sql
EN

Stack Overflow用户
提问于 2019-10-15 00:37:44
回答 3查看 5.7K关注 0票数 9

我在Ubuntu版本18.04.3服务器上实现了Apache-Airflow。当我设置它时,我使用的是sql lite通用数据库,而它使用的是顺序执行器。我这样做只是为了玩玩和适应这个系统。现在我正在尝试使用Local Executor,并且需要将我的数据库从sqlite转换到推荐的postgres sql。

有谁知道如何实现这一转变吗?我发现的所有教程都需要从一开始就使用postgres sql设置Airflow。我知道有一大堆可移动的部件,我害怕把我目前正在运行的东西搞乱。任何人谁知道如何做到这一点,或可以告诉我在哪里寻找非常感谢。谢谢!

EN

回答 3

Stack Overflow用户

发布于 2020-02-20 01:57:38

只需要用一些命令来完成@lalligood的回答:

在airflow.cfg文件中查找sql_alchemy_conn,并将其更新为指向您PostgreSQL服务器:

代码语言:javascript
复制
sql_alchemy_conn = postgresql+psycopg2://user:pass@hostadress:port/database

例如:

代码语言:javascript
复制
sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@localhost:5432/airflow

如上行所示,您需要名为airflow的用户和数据库,因此您需要创建它。为此,打开psql命令行并键入以下命令,以创建名为airflow的用户和数据库,并将数据库airflow的所有权限授予用户airflow

代码语言:javascript
复制
CREATE USER airflow;
CREATE DATABASE airflow;
GRANT ALL PRIVILEGES ON DATABASE airflow TO airflow;

现在,您可以使用postgres初始化airflow应用程序:

airflow initdb

如果一切正常,请再次访问psql命令行,使用\c airflow命令进入airflow数据库,然后键入\dt命令以列出该数据库的所有表。你应该会看到一个风流表的列表,目前是23。

票数 9
EN

Stack Overflow用户

发布于 2019-10-15 21:29:03

通过执行以下4个步骤,我能够让它工作起来:

  1. 假设您正在从头开始,请使用SQLite数据库初始化气流环境。这里的关键要点是生成airflow.cfg文件。
  2. 更新airflow.cfg中的sql_alchemy_conn行以指向您的PostgreSQL服务器。
  3. 在PostgreSQL中创建airflow role +数据库。(撤消从public到airflow数据库的所有权限,确保airflow角色拥有airflow database!)
  4. (Re)Initialize airflow (airflow initdb),并确认您在airflow数据库中看到约19个表。
票数 0
EN

Stack Overflow用户

发布于 2022-02-13 12:45:31

除了添加到airflow.cfg文件之外的另一种选择

是将ENV varibale AIRFLOW__CORE__SQL_ALCHEMY_CONN设置为您想要的postgresql服务器。

示例:export AIRFLOW__CORE__SQL_ALCHEMY_CONN_SECRET=sql_alchemy_conn

或者你可以在你的Dockerfile设置中设置它。

请参阅文档here

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58380835

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档