我正在努力将一些ETL迁移到气流上,并计划使用S3将雪花操作符复制到雪花中:https://airflow.apache.org/docs/apache-airflow-providers-snowflake/stable/_api/airflow/providers/snowflake/transfers/s3_to_snowflake/index.html
目前我们执行标准,将文件放入雪花内部暂存,然后复制到文件的目标表中,但是如果我将其迁移到S3,然后在DAG中使用此操作符复制到目标表中,是否有理由使用内部暂存表?最佳实践理由,还是其他原因?
发布于 2021-12-21 15:58:37
根据雪花文档,S3充当外部阶段,并使用从那里复制到雪花表。但是,如果您的业务案例需要再进行一层的分期,那么您可以按照文档进行。为我们做好了一层外部的准备。
https://docs.snowflake.com/en/user-guide/data-load-s3-copy.htmlhttps://stackoverflow.com/questions/70437293
复制相似问题