我们正在做一个项目,在这个项目中,我们收到了大约90 on的每日文件,它由大约60M行组成。问题是他们每天发送完整的文件(90 as ),其中包括未更改数据的历史记录以及新数据。
现在,我们的任务是仅将New inserts、Deletes和Updates拆分到单独的文件和加载。我们怎样才能有效地做到这一点呢?
使用的工具: Datastage和AWS(可以使用),如果它具有成本效益并提供良好的性能。将数据加载到Snowflake的最终目标。
发布于 2020-07-23 16:52:36
tbh听起来像是你想从平面文件进行合并:
https://support.snowflake.net/s/article/how-to-perform-a-mergeupsert-from-a-flat-file-staged-on-s3
如果您的表有操作,但没有实际记录,那么只需在执行此操作之前从表中选取最新的时间戳,并应用所有操作,因为合并完成后该时间戳已完成
https://stackoverflow.com/questions/63048348
复制相似问题