首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >是否有操作员可以使用Airflow通过SFTP跨不同主机移动文件?

问是否有操作员可以使用Airflow通过SFTP跨不同主机移动文件?
EN

Stack Overflow用户
提问于 2020-06-30 22:42:20
回答 1查看 716关注 0票数 0

空气流动生态系统的新手。我使用Airflow的首要目标之一是实现跨机器移动文件的工作流。特别是,我正在寻找将来自不同Mac/Linux机器的数据合并到NAS中的方法(使用SFTP)。

我一直在探索不同的气流运营商,大多数传输运营商将数据从本地机器复制到云服务。我没有看到任何人从一个主机复制文件到另一个主机,也没有一个要移动(或者复制,然后检查,然后删除)。我假设我可以使用BashOperator来移动或使用rsync来处理文件。关于如何使用Airflow通过SFTP跨不同主机移动文件,在这方面有什么最佳实践吗?有没有可以安全复制/检查/删除的模式?

EN

回答 1

Stack Overflow用户

发布于 2020-07-01 16:32:28

没有。

但是,您可以创建自己的运算符作为插件:https://airflow.apache.org/docs/stable/plugins.html

您可能希望利用Airflow中现有的SftpHook来编写运算符:https://airflow.readthedocs.io/en/stable/_modules/airflow/contrib/hooks/sftp_hook.html

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62660072

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档