首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Apache气流中的动态FTPSensor

问Apache气流中的动态FTPSensor
EN

Stack Overflow用户
提问于 2020-10-27 17:02:51
回答 1查看 729关注 0票数 1

我想要实现一种动态的FTPSensor。使用贡献的FTP传感器,我设法使它以这种方式工作:

代码语言:javascript
复制
ftp_sensor = FTPSensor(
        task_id="detect-file-on-ftp",        
        path="./data/test.txt",
        ftp_conn_id="ftp_default",
        poke_interval=5,
        dag=dag,
    )

而且效果很好。但我需要通过动态路径和ftp_conn_id参数。也就是说,我在以前的任务和ftp_sensor任务中生成了一堆新的连接,如果在FTP上有一个文件,我想检查我以前生成的每一个新连接。

因此,我想首先从XCom中获取连接的ids。我从XCom中的前一个任务中发送它们,但似乎无法在任务之外访问XCom。我的目标是:

代码语言:javascript
复制
active_ftp_connections = context['ti'].xcom_pull(key='active_ftps')
for conn in active_ftp_connections:
  ftp_sensor = FTPSensor(
        task_id="detect-file-on-ftp",        
        path=conn['path'],
        ftp_conn_id=conn['connection'],
        poke_interval=5,
        dag=dag,
    )

但这似乎不是一个可行的解决办法。

然后,我浪费了大量的时间来创建我的定制FTPSensor,以便动态地传递我需要的数据,但现在我得出的结论是,我需要传感器和操作符之间的混合,因为我需要保持poke功能,但也具有执行功能。我想一种选择是编写一个自定义操作符,该操作符从传感器基类中实现poke,但现在可能太累了,无法尝试这样做。

你知道如何实现我的目标吗?我似乎在网上找不到任何关于这个话题的材料,也许只有我一个人。如果问题不清楚,请告诉我,我可以提供更多细节。

更新

我现在把这个作为可能

代码语言:javascript
复制
def get_active_ftps(**context):
    active_ftp_connestions = context['ti'].xcom_pull(key='active_ftps')
    return active_ftp_connestions

for ftp in get_active_ftps():
    ftp_sensor = FTPSensor(
            task_id="detect-file-on-ftp",        
            path="./"+ ftp['folder'] +"/test.txt",
            ftp_conn_id=ftp['conn_id'],
            poke_interval=5,
            dag=dag,
        )

但是它抛出一个错误:Broken DAG: [/usr/local/airflow/dags/copy_file_from_ftp.py] 'ti'

EN

回答 1

Stack Overflow用户

发布于 2020-10-28 09:23:58

我就是这样做的:

代码语言:javascript
复制
active_ftp_folder = Variable.get('active_ftp_folder')
active_ftp_conn_id = Variable.get('active_ftp_conn_id')
ftp_sensor = FTPSensor(
        task_id="detect-file-on-ftp",        
        path="./"+ active_ftp_folder +"/test.txt",
        ftp_conn_id=active_ftp_conn_id,
        poke_interval=5,
        dag=dag,
    )

一次运行一个ftp帐户,因为我意识到在直接的无圈图中不应该有循环.显然是。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64559398

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档