首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用于拆分、插入、更新、删除完整文件的增量逻辑

问用于拆分、插入、更新、删除完整文件的增量逻辑
EN

Stack Overflow用户
提问于 2020-07-23 14:42:32
回答 1查看 42关注 0票数 0

我们正在做一个项目,在这个项目中,我们收到了大约90 on的每日文件,它由大约60M行组成。问题是他们每天发送完整的文件(90 as ),其中包括未更改数据的历史记录以及新数据。

现在,我们的任务是仅将New inserts、Deletes和Updates拆分到单独的文件和加载。我们怎样才能有效地做到这一点呢?

使用的工具: Datastage和AWS(可以使用),如果它具有成本效益并提供良好的性能。将数据加载到Snowflake的最终目标。

EN

回答 1

Stack Overflow用户

发布于 2020-07-23 16:52:36

tbh听起来像是你想从平面文件进行合并:

https://support.snowflake.net/s/article/how-to-perform-a-mergeupsert-from-a-flat-file-staged-on-s3

如果您的表有操作,但没有实际记录,那么只需在执行此操作之前从表中选取最新的时间戳,并应用所有操作,因为合并完成后该时间戳已完成

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/63048348

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档