使用气流将数据从Postgres/MySQL移动到S3

Question

我们正试图从五旬节到Apache AIrflow进行ETL，并将所有数据进程集中在1工具下。

我们使用Kettle每天从Postgres/Mysql数据库读取数据，并将数据移动到S3 -> Redshift。

做这件事最简单的方法是什么？我没有看到可以直接这样做的操作符；所以我应该使用MySQL/Postgres操作符将数据放到本地文件中，使用S3操作符将数据移动到S3吗？

谢谢

Answer 1

你可以构建自己的运营商'mysql_to_s3‘，并将其作为一个插件添加到气流中。

有一个操作符可以将数据从Mysql归档到gcs：

gcs.py

您可以在def _upload_to_gcs上使用s3_hook，而不是使用hook.py，让所有的代码都有一些变化。

有关自定义插件的文档：

气流插件:博客文章

气流插件:正式文档

Answer 2

airflow-plugins (由天文学家提供)有一个MySqlToS3Operator，它将接受mysql查询的结果集，并将其作为csv或json放在s3上。

这个插件可以在这里找到：operator.py

从这里开始，您可以使用s3_to_redshift操作符将数据从S3加载到redshift：operator.html中。