首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在批量过程中使用AWS/RDS切换数据库并避免宕机?

问如何在批量过程中使用AWS/RDS切换数据库并避免宕机?
EN

Stack Overflow用户
提问于 2019-06-08 18:15:45
回答 2查看 158关注 0票数 0

对于我们的内部使用,我们在EC2实例上有一个web应用程序,它从RDS/Postgres数据库读取(不写入)数据。在一天的部分时间内,为该数据库生成新数据(运行约2小时的批处理),并将数据直接写入同一数据库,这当然会导致应用程序停机(~ 2小时),直到完全写入数据为止。

在AWS/EC2/RDS上,如果在批处理过程中发生任何错误时,能够回滚到以前的版本,当然也不会切换到新版本,那么管理这样的情况会是一个好的做法吗?

EN

回答 2

Stack Overflow用户

发布于 2019-06-08 18:45:07

典型的ETL (提取-转换-加载)过程通常通过以下方式工作:

将数据转换为临时表

  • Loading
  • 运行脚本将表的内容转换为适合reporting
  • Publishing

表的格式,以便用户使用

最后一步可以使用TRUNCATE,然后使用SELECT INTO。

如果这是太长的停机时间,那么另一种方法是让用户查询视图。然后,修改视图,使其指向第二组表(现在成为“主”表)。因此,每次加载时,视图只是在表集之间交换。

票数 0
EN

Stack Overflow用户

发布于 2019-06-08 22:35:17

为此,我会考虑使用RDS快照。您将拥有一个可写的RDS“主”实例(或黄金映像,如果您愿意的话),并且您将拥有一个可从中进行查询的刷新的只读RDS实例。

示例流程可能如下所示:

  • 确保您在托管区域(启用了VPC中的DNS解析)中设置了CNAME别名记录(通过路由53),以指向您当前的只读RDS实例(指向您在RDS控制台中看到的名称)-时间间隔为5-60秒
  • 执行ETL/加载到主
  • 执行所需的任何验证活动
  • 快照主RDS实例

<代码>H19从主RDS启动一个新的只读RDS实例只读RDS instance

为此,您需要将CNAME用于您的应用程序数据库连接池设置,并确保连接定期过期-理想情况下,连接生存期不超过每隔几分钟,以便最大限度地减少中断时间。在一些应用程序运行时也要注意DNS缓存。例如,从历史上看,Java默认情况下会有一些相当长的缓存(可以覆盖)。

您也可以自动执行此操作。一种选择是Codepipeline。

您的“回滚”能力取决于您将快照保留了多少天。要执行回滚,您需要从给定的快照创建一个RDS实例并更改CNAME。

您的另一个选择可能是使用RDS Read Replica。但我不确定您是否可以在加载期间停止并(重新)启动PostgreSQL的复制过程-就像MySQL一样。此外,我还怀疑为了赶上而进行的复制可能会导致头痛(也许一些DDL语句也不能优雅地或按预期进行复制)。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/56505430

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档