首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >亚马逊移动消防软管-如何暂停一个流?

问亚马逊移动消防软管-如何暂停一个流?
EN

Stack Overflow用户
提问于 2017-08-22 23:12:22
回答 2查看 3K关注 0票数 3

我需要在AWS动态消防软管中暂停一个流的能力。

当我需要执行需要重新创建表的模式更改时(例如,更改sortkey),我就需要它。

这些更改通常需要创建一个新表,将行插入新表,删除原始表,并将新表重命名为原始名称。这样做将导致在此过程中流的行丢失。

我可以想出两种解决办法:

  1. 在process请求时重命名原始表,然后强制消防软管失败,然后重试,直到您更改并重命名它。如果重试机制足够防弹,我就不会起诉。
  2. 在加载之间定义了几个小时的时间间隔(视需要而定),然后监视“复制”查询,并在拷贝之后执行与#1相同的操作。这比第一更安全。

在声明中,这两种解决方案都不觉得是最佳实践。

有没有更好的解决办法?我的解决方案是什么?

EN

回答 2

Stack Overflow用户

发布于 2017-09-26 22:04:29

我遇到了同样的问题,并做了以下工作。注意:要使此方法有效,您必须具有时间戳(在下面的答案中是created_at)。

  1. 假设table1是您已经拥有的表,而且Kinesis正在将事件从firehose1中转储到其中。
  2. 创建一个新的消防软管firehose2,将事件转储到一个新表table2,该表具有与table1相同的模式。
  3. 一旦您确认事件正在table2中登陆,而table1中的max(created_at)小于table2中的min(created_at),则删除firehose1。我们现在可以确定,我们不会丢失任何数据,因为table1和table2之间已经存在重叠。
  4. 创建一个具有与table1相同架构的表table1。将所有事件从table1复制到table3中。
  5. 删除table1并重新创建它,这次使用排序键。
  6. 重新创建firehose1以继续将事件转储到table1中。
  7. 一旦事件再次在table1登陆,确认table1中的min(created_at)小于table2中的max(created_at)。如果这是真的,请删除firehose2。
  8. 从table2复制created_at中的所有事件,严格大于table3中的max(created_at),严格地将table1中的min(created_at)小于table1。如果您的系统允许具有相同时间戳的事件,则可能会在此步骤中引入重复的事件。
  9. 将所有事件从table3复制回新的table1中。

编辑:如果使用table3将table1重命名为table1_old,然后在新的table1之上创建table2,则可以避免使用table2。

票数 3
EN

Stack Overflow用户

发布于 2022-01-16 11:22:29

由于are可以存储数据(默认情况下为1天,最多一年为但额外收费将超过24小时。),因此我建议删除传递流(Kinesis ),并且一旦完成升级/维护工作,您就可以轻松地重新配置一个新的交付流。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/45828292

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档