空气流动生态系统的新手。我使用Airflow的首要目标之一是实现跨机器移动文件的工作流。特别是,我正在寻找将来自不同Mac/Linux机器的数据合并到NAS中的方法(使用SFTP)。
我一直在探索不同的气流运营商,大多数传输运营商将数据从本地机器复制到云服务。我没有看到任何人从一个主机复制文件到另一个主机,也没有一个要移动(或者复制,然后检查,然后删除)。我假设我可以使用BashOperator来移动或使用rsync来处理文件。关于如何使用Airflow通过SFTP跨不同主机移动文件,在这方面有什么最佳实践吗?有没有可以安全复制/检查/删除的模式?
发布于 2020-07-01 16:32:28
没有。
但是,您可以创建自己的运算符作为插件:https://airflow.apache.org/docs/stable/plugins.html
您可能希望利用Airflow中现有的SftpHook来编写运算符:https://airflow.readthedocs.io/en/stable/_modules/airflow/contrib/hooks/sftp_hook.html
https://stackoverflow.com/questions/62660072
复制相似问题