我需要在AWS动态消防软管中暂停一个流的能力。
当我需要执行需要重新创建表的模式更改时(例如,更改sortkey),我就需要它。
这些更改通常需要创建一个新表,将行插入新表,删除原始表,并将新表重命名为原始名称。这样做将导致在此过程中流的行丢失。
我可以想出两种解决办法:
在声明中,这两种解决方案都不觉得是最佳实践。
有没有更好的解决办法?我的解决方案是什么?
发布于 2017-09-26 22:04:29
我遇到了同样的问题,并做了以下工作。注意:要使此方法有效,您必须具有时间戳(在下面的答案中是created_at)。
table1是您已经拥有的表,而且Kinesis正在将事件从firehose1中转储到其中。firehose2,将事件转储到一个新表table2,该表具有与table1相同的模式。table2中登陆,而table1中的max(created_at)小于table2中的min(created_at),则删除firehose1。我们现在可以确定,我们不会丢失任何数据,因为table1和table2之间已经存在重叠。table1相同架构的表table1。将所有事件从table1复制到table3中。table1并重新创建它,这次使用排序键。firehose1以继续将事件转储到table1中。table1登陆,确认table1中的min(created_at)小于table2中的max(created_at)。如果这是真的,请删除firehose2。table2复制created_at中的所有事件,严格大于table3中的max(created_at),严格地将table1中的min(created_at)小于table1。如果您的系统允许具有相同时间戳的事件,则可能会在此步骤中引入重复的事件。table3复制回新的table1中。编辑:如果使用table3将table1重命名为table1_old,然后在新的table1之上创建table2,则可以避免使用table2。
发布于 2022-01-16 11:22:29
由于are可以存储数据(默认情况下为1天,最多一年为但额外收费将超过24小时。),因此我建议删除传递流(Kinesis ),并且一旦完成升级/维护工作,您就可以轻松地重新配置一个新的交付流。
https://stackoverflow.com/questions/45828292
复制相似问题