有人能为气流HdfsSensor推荐python3的替代方案吗？

Question

我正在尝试听HDFS中的变化，使用HdfsSensor在python3中触发我在气流中的ETL管道。我得到以下错误，因为python3不支持蛇咬伤

这个HDFSHook实现需要蛇咬伤，但是‘ImportError:这个HDFSHook实现需要蛇咬伤，但是snakebite与Python3不兼容

Answer 1

由于@AyushGoyal的建议，我使用WebHDFSSensor解决了同样的问题。这个传感器看起来像HdfsSensor，您只需替换函数名即可。记住要确保：

• 通过webhdfs_conn_id参数传递连接id (在HdfsSensor中，参数名为hdfs_conn_id)
• 您应该尝试连接到名称节点的端口是50700 (而不是8020)。

其余的都一样！示例：

from airflow.sensors.web_hdfs_sensor import WebHdfsSensor
file_sensor = WebHdfsSensor(
task_id='check_if_data_is_ready',
filepath="some_file_path",
webhdfs_conn_id='hdfs_conn_id',
poke_interval=10,
timeout=5,
dag=dag,
env={
    'JAVA_HOME': '/usr/java/latest'
}

)