首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >AWS胶回滚策略

问AWS胶回滚策略
EN

Stack Overflow用户
提问于 2017-11-29 12:09:34
回答 1查看 1.2K关注 0票数 0

我正在做从甲骨文RDS到s3的ETL。如果我正在运行我的ETL脚本,它正在将一些数据转储到s3中,并且中断了一些东西,我如何回滚我的整个脚本呢?是否有任何回滚策略或配置aws胶提供?

EN

回答 1

Stack Overflow用户

发布于 2018-01-11 19:48:06

Amazon目前不支持这一功能。这种功能必须由您的脚本和ETL流程来管理。有几种方法可以让你做到这一点。

  • 您可以构建一个增量进程,它使用时间戳字段或递增的主键值将当前s3中的数据与通过您的ETL进程加载的新数据进行比较。这将使您具有可恢复性,这样您的流程就可以在下一次执行期间停止运行的地方继续运行。
  • 如果要在单个ETL进程中将多个表移动到S3,则可以将它们分解为单独的进程,并让Glue调度程序将作业链接在一起,这样一旦解决了问题,就可以从停止的位置开始。
  • 您可以构建您的作业,以便在每次执行过程中将数据集完全重新加载到s3。如果有异常,您的数据将在下一次执行过程中被完全替换。
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/47552531

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档