首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用带有气流的s3_to_snowflake操作符,我们需要一个内部级吗?

使用带有气流的s3_to_snowflake操作符,我们需要一个内部级吗?
EN

Stack Overflow用户
提问于 2021-12-21 14:46:43
回答 1查看 322关注 0票数 1

我正在努力将一些ETL迁移到气流上,并计划使用S3将雪花操作符复制到雪花中:https://airflow.apache.org/docs/apache-airflow-providers-snowflake/stable/_api/airflow/providers/snowflake/transfers/s3_to_snowflake/index.html

目前我们执行标准,将文件放入雪花内部暂存,然后复制到文件的目标表中,但是如果我将其迁移到S3,然后在DAG中使用此操作符复制到目标表中,是否有理由使用内部暂存表?最佳实践理由,还是其他原因?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-12-21 15:58:37

根据雪花文档,S3充当外部阶段,并使用从那里复制到雪花表。但是,如果您的业务案例需要再进行一层的分期,那么您可以按照文档进行。为我们做好了一层外部的准备。

代码语言:javascript
复制
https://docs.snowflake.com/en/user-guide/data-load-s3-copy.html
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/70437293

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档