AWS数据管道DynamoDB到S3 503 SlowDown错误

Question

我们有一个数据管道，它每晚将我们的DynamoDB复制到S3桶，这样我们就可以与雅典娜一起运行数据报告了。有时管道会因503 SlowDown错误而失败。重试通常会“成功”，但会在S3中创建大量重复的记录。DynamoDB具有按需读取能力，流水线具有0.5 myDDBReadThroughputRatio.这里有几个问题：

1. 我认为减少myDDBReadThroughputRatio可能会减少问题，如果是真的，是否有一个良好的比率，仍然将是表现，但不会造成这些错误？
2. 有办法防止S3中的重复记录吗？我不知道为什么会产生这些东西？(可能没有删除失败运行的记录吗？)

当然，对此问题的任何其他想法/解决方案都将不胜感激。

谢谢!

Answer 1

使用AWS数据管道进行连续备份是不建议。

AWS最近推出了一个新功能，允许您将DynamoDB表数据导出到S3，并且可以由雅典娜进一步分析。检查一下这里

你也可以使用亚马逊胶水来做同样的事情(链接)。

如果您仍然希望继续使用数据管道，那么这个问题似乎是由于S3 已达到极限而发生的。您可能需要查看是否还有其他请求同时写入S3，或者是否可以使用某种配置限制管道中的请求速率。