我想要实现一种动态的FTPSensor。使用贡献的FTP传感器,我设法使它以这种方式工作:
ftp_sensor = FTPSensor(
task_id="detect-file-on-ftp",
path="./data/test.txt",
ftp_conn_id="ftp_default",
poke_interval=5,
dag=dag,
)而且效果很好。但我需要通过动态路径和ftp_conn_id参数。也就是说,我在以前的任务和ftp_sensor任务中生成了一堆新的连接,如果在FTP上有一个文件,我想检查我以前生成的每一个新连接。
因此,我想首先从XCom中获取连接的ids。我从XCom中的前一个任务中发送它们,但似乎无法在任务之外访问XCom。我的目标是:
active_ftp_connections = context['ti'].xcom_pull(key='active_ftps')
for conn in active_ftp_connections:
ftp_sensor = FTPSensor(
task_id="detect-file-on-ftp",
path=conn['path'],
ftp_conn_id=conn['connection'],
poke_interval=5,
dag=dag,
)但这似乎不是一个可行的解决办法。
然后,我浪费了大量的时间来创建我的定制FTPSensor,以便动态地传递我需要的数据,但现在我得出的结论是,我需要传感器和操作符之间的混合,因为我需要保持poke功能,但也具有执行功能。我想一种选择是编写一个自定义操作符,该操作符从传感器基类中实现poke,但现在可能太累了,无法尝试这样做。
你知道如何实现我的目标吗?我似乎在网上找不到任何关于这个话题的材料,也许只有我一个人。如果问题不清楚,请告诉我,我可以提供更多细节。
更新
我现在把这个作为可能
def get_active_ftps(**context):
active_ftp_connestions = context['ti'].xcom_pull(key='active_ftps')
return active_ftp_connestions
for ftp in get_active_ftps():
ftp_sensor = FTPSensor(
task_id="detect-file-on-ftp",
path="./"+ ftp['folder'] +"/test.txt",
ftp_conn_id=ftp['conn_id'],
poke_interval=5,
dag=dag,
)但是它抛出一个错误:Broken DAG: [/usr/local/airflow/dags/copy_file_from_ftp.py] 'ti'
发布于 2020-10-28 09:23:58
我就是这样做的:
active_ftp_folder = Variable.get('active_ftp_folder')
active_ftp_conn_id = Variable.get('active_ftp_conn_id')
ftp_sensor = FTPSensor(
task_id="detect-file-on-ftp",
path="./"+ active_ftp_folder +"/test.txt",
ftp_conn_id=active_ftp_conn_id,
poke_interval=5,
dag=dag,
)一次运行一个ftp帐户,因为我意识到在直接的无圈图中不应该有循环.显然是。
https://stackoverflow.com/questions/64559398
复制相似问题